Родился в словацкой части Австро-Венгерской империи, которая вошла в образованную в 1918 году Чехословакию.
В 1920-х годах сначала в Костельце-над-Влтавой обучался на кузнеца, потом также учился на часовщика.
В 1927 посещал торговое училище в ближайшем городе Коваров.
До 1939 года работал рабочим на химическом заводе в Жилине. 4 июня 1939 нелегально перешёл границу с Польшей, а затем уехал во Францию, где вступил в Иностранный легион.
В июле был послан воевать во Францию, после поражения эвакуировался в Великобританию, где вступил в Чехословацкие военные силы за границей, организованные президентом в изгнании Эдвардом Бенешем.
В замке Колмонделей в графстве Чешир прошёл десантную подготовку.Вместе с Яном Кубишем, с которым он познакомился ещё в Польше, подал заявление в британское Управление специальных операций. Обоих отобрали для проведения операции «Антропоид» , подготовленной 2-м отделом чехословацкой разведки под общим управлением Франтишека Моравеца, целью которой было уничтожение протектора Богемии и Моравии Рейнхарда Гейдриха. Тем самым они должны были призвать чехов к неповиновению нацистам.
В ночь с 28 на 29 декабря 1941 оба они были десантированны над Чехией. Сначала они провели акцию саботажа в Пльзени, а затем 27 мая 1942 совершили покушение на Гейдриха. Покушение едва не сорвалось из-за отказа оружия Габчика, но Гейдрих был смертельно ранен взрывом гранаты Кубиша и умер от последствий ранения 4 июня.После покушения вместе с другими борцами Сопротивления Габчик скрылся в крипте православной церкви св. Кирилла и Мефодия в Праге, пока они не были выданы предателем Карелом Чурдой. 18 июня немцы окружили церковь и начали штурм, защитники мужественно и отчаянно оборонялись в течение нескольких часов. 7 патриотов-чехословаков — Йозеф Габчик, Ярослав Шварц, Ян Хрубы, Йозеф Валчик, Адольф Опалка, Йозеф Бублик, Ян Кубиш — держались против нескольких сотен эсэсовцев, гестапо и полиции. Когда положение стало безнадёжным (немцы с помощью пожарных стали заливать водой подвал церкви, а боеприпасы заканчивались), все защитники церкви, кроме тяжелораненого Кубиша, покончили с собой. Кубиш, не приходя в сознание, умер от ран.