Томодзи Абэ родился в деревне Юногоо (ныне часть города Мимасака) в префектуре Окаяма в семье учителя естествознания, которому из-за работы приходилось с семьей переезжать в разные деревни и города. Томодзи учился в школах в (префектура Хёго) и в Нагое.
В 1921 году ему пришлось пропустить один год из-за болезни лёгких и в это время он начал сочинять танка.
В 1923 году его стихи были опубликованы в журнале «Кооюкаи дзасси» (, рус. Журнал «Ассоциации выпускников» ).
В тот период он зачитывался танка поэта Симаги Акахико и произведениями Льва Толстого и Антона Чехова.
В 1924 году после окончания школы Абэ поступил на факультет английской литературы Токийского императорского университета. Особенно он интересовался британскими поэтами-романтиками XIX века. Тогда английскую литературу в университете преподавал английский поэт Эдмунд Бланден, который познакомил японских студентов с иным образом мысли и поведения. Абэ увлёкся британским модернизмом и особенно концепцией интеллектуализма, связываемой с именами Томаса Хьюма, Герберта Рида и Томаса Элиота.
В 1927 году он окончил университет, защитив диплом на тему об Эдгаре Аллане По.
В 1930 году Абэ женился на Сумико Охама и в период с 1932 по 1944 у них родилось 5 детей: два сына и три дочери. Старший сын Ёсио стал филологом и профессором французской литературы, а младший Нобуо — арт-критиком и главным куратором Художественного музея Бриджстоун в Токио.
В мае 1944 года семья Абэ эвакуировалась в Химэдзи, спасаясь от ожидаемых бомбардировок, а сам он остался в столице (в том месяце умер его отец).
В июле 1945 года писатель перебрался в Мимосаку и через три месяца после капитуляции Японии воссоединился с семьей в Химэдзи.
В апреле 1950 года он с другими писателями едет в Хиросиму на встречу японского ПЕН-клуба и читает там доклад о «Войне и мире» . Абэ интересуется марксизмом, но в атмосфере «холодной войны» вынужден скрывать свои политические взгляды.
В конце 1950 года Абэ с семьей возвращается в Токио, где и проживал до конца жизни.
В 1953 году он выступает в суде в качестве общественного защитника в связи с первомайским инцидентом 1952 года, когда во время демонстрации в последовавших столкновениях между её участниками и полицией с обеих сторон были погибшие и пострадавшие.
В марте 1959 года Абэ и Киёси Аоно выпускают письменный протест против пересмотра Договора о совместном сотрудничестве и гарантиях безопасности между США и Японией. Писатель был страстным критиком войны во Вьетнаме.
В марте 1968 года он уволился из университета Мэйдзи и вместе с учёным Минору Ода призвал к общенациональному движению против этой войны.
В 1969, путешествуя с женой по Европе, Абэ посетил Эдмонда Бландена — своего университетского преподавателяВ ноябре 1971 года у него диагностировали рак пищевода и положили в больницу. 23 апреля 1973 года он умер, оставив неоконченным роман «Пленный» , который он надиктовывал в последний год жизни (опубликован посмертно).