Родился в 1907 году в украинской семье в местечке Ивановке, центре Ивановской волости Славяносербского уезда Екатеринославской губернии (ныне — пгт Ивановка Луганской области). Отец — рабочий железной дороги.
В 1922 году окончил сельскую трудовую (семилетнюю) школу.
В 1925 году, после школы ФЗУ динамитного завода, стал лаборантом химической лаборатории.
В конце 1925 года из-за аварии на заводе лишился правой руки, почти по локоть. Год лечился, стал инвалидом, заново учился писать.
В 1926—1928 годах, работая переписчиком на Мариупольском заводе им. Ильича, самостоятельно готовился к поступлению в МГУ.
В 1929 году поступил на физико-математический факультет МГУ. Здесь его способности замечает академик А. Н. Колмогоров. Под его руководством Верченко пишет диплом. По окончании университета поступил в аспирантуру Научно-исследовательского института математики при МГУ, где его научным руководителем также был Колмогоров.
В соавторстве с Колмогоровым опубликовал в журнале «Доклады Академии наук СССР» (№ 3 и № 7 за 1934 год) две статьи о точках разрыва функций от двух переменных.Окончив аспирантуру и защитив под руководством Колмогорова диссертацию, в 1937 году кандидат физико-математических наук Верченко был направлен в Ростовский-на-Дону университет, где стал доцентом в 1938 году. Доцент Верченко читал лекции по математике студенту Александру Солженицыну, будущему писателю.
С началом войны эвакуирован в Баку. Там перешёл на работу в качестве инженера-конструктора в КБ Яковлева, где работал почти всю войну.
В 1943 году вместе с КБ вернулся в Москву. Работая, продолжает заниматься наукой, в частности, теорией функций многих переменных. 29 сентября 1949 года в Математическом институте имени В. А. Стеклова защищает докторскую диссертацию.
В 1947 году Управление кадров ЦК ВКП(б) приглашает Верченко на работу в МГБ СССР.
С июля он — старший оперуполномоченный в звании старшего лейтенанта, затем становится заместителем начальника 1 отделения 6 Управления МГБ СССР. Верченко исследует вопросы разработки и криптоанализа машинных шифровальных систем.21 января 1948 года МГБ создаёт в Марфино «Лабораторию № 8» (так называемая «Марфинская шарашка» , позже — НИИ автоматики) для работ по созданию аппаратуры засекречивания телефонных переговоров.
С июля 1949 по январь 1950 года сюда прикомандирован Верченко, руководителем созданной в 6-м Управлении группы из 29 человек для анализа и экспертизы шифраторов. Здесь же работает и заключённый Солженицын, позднее описавший Ивана Яковлевича в главе 10 романа «В круге первом» под именем Петра Трофимовича Веренёва.
В итоге работы была решена проблема создания стойкой аппаратуры для засекречивания телефонных переговоров на линиях ВЧ-связи, опытные образцы которой были приняты правительственной комиссией 29 июля 1950 года.
С августа 1950 года — заместитель начальника по научной работе НИИ-1.Карьера сотрудника госбезопасности закончилась в апреле 1953 года по указанию Л. П. Берия, в присутствии которого, на совещании, Верченко стал спорить по вопросу существования абсолютно стойких шифров. Иван Яковлевич перешёл на преподавательскую работу.
С 1953 года — профессор, затем заведующий кафедрой математического анализа в Московском Городском педагогическом институте имени В. П. Потёмкина.
С 1960 года, после реорганизации вузов, — профессор кафедры математического анализа Московского государственного педагогического института имени В. И. Ленина.
С 5 июля 1962 года — начальник кафедры высшей математики технического факультета Высшей школы КГБ, одновременно с мая 1963 — начальник факультета. Обе должности занимал до января 1972 года.
С 1972 по 1986 год — заведующий кафедрой высшей математики в Московском институте электронного машиностроения, читал лекции по математическому анализу.Периодически по совместительству читал лекции по математическому анализу на техническом факультете Высшей школы КГБ, в том числе и после 1986 года.Умер в Москве 15 ноября 1995 года.У Ивана Яковлевича было пятеро детей, в том числе один сын — приёмный.