Вальтер Гордон был сыном бизнесмена Арнольда Гордона и его жены Бьянки Гордон (урождённой "Бранн"). Семья переехала в Швейцарии в его ранние годы.
В 1900 году он посещал школу в Санкт-Галлени и в 1915 году он начал изучение математики и физики в Берлинском университете.
Он получил докторскую степень в 1921 году под руководством Макса Планка.
В 1922 году, когда еще учился в Берлинском университете, Гордон стал помощником Макса фон Лауэ.
В 1925 году он работал в течение нескольких месяцев в Манчестере с Уильямом Брэггом и позднее в Обществе Кайзера Вильгельма в области волоконной химии в Берлине.
В 1926 году он переехал в Гамбург, где достиг каспера в 1929 году.
В 1930 году он стал профессором.
Он вступил в брак с жительницей Гамбурга Гертрудой Лоббенберг в 1932 году. Гордон переехал в Стокгольм в 1933 году из-за политической ситуации в Германии. Там ученый работал в университете в области механики и математической физики.