Франц фон Верра родился седьмым ребёнком (из восьми) в обедневшей швейцарской дворянской семье.
В возрасте 15 месяцев был принят приёмным сыном в бездетную семью прусского майора К. Освальда; детство его прошло на вилле в Бойроне.
В 1925 эта семья переехала в Кёльн, но в 1932 разорилась, и приёмные родители расстались.Франц фон Верра пытался через Гамбург попасть в Америку, но из этого ничего не вышло. Когда он узнал, что был усыновлён в младенчестве, в 18 лет снова принял данное ему при рождении имя.
Он бросил гимназию и с лета 1933 посещал спортивную школу СА в Хамме.
В 1934 получил письменные доказательства своего происхождения и подробности о своей биологической семье.