В 1989 году Альбинус окончил актёрскую школу при театре Орхуса и после этого играл в театре.
С 1996 года он начал сниматься в кино и на телевидении. Первой громкой ролью Альбинуса стал Стоффер в «Идиотах» Ларса фон Триера, фильме, снятом в рамках манифеста «Догма 95» . Персонаж Альбинуса был лидером коммуны, члены которой на публике симулируют умственную отсталость, чтобы раскрыть в себе так называемого внутреннего идиота. «Идиоты» стали крупным событием в кинематографическом мире и попали в конкурсную программу Каннского кинофестиваля.
В фильме «Скамейка» Пера Флю Альбинус исполнил высоко отмеченную критиками второстепенную роль психически больного «вечного студента» . За роль нейрохирурга Рихарда Мальмроса в фильме «Знать правду» Альбинус был удостоен обеих национальных датских кинонаград — «Бодиль» и «Роберт» — в номинации лучшему актёру. Общенациональную известность актёру принесла главная роль в криминальном телесериале «Орёл» (Ornen ), три сезона которого с успехом демонстрировались с 2004 по 2006 год.Благодаря худобе и высокому росту Альбинус обладает выразительной внешностью.
Он наиболее известен исполнением ролей странных, внутренне противоречивых, одержимых какой-то идеей персонажей.
С 1999 года Альбинус поставил несколько театральных спектаклей по собственным пьесам.
В 2002 году дебютировал как телережиссёр экранизацией романа Мишеля Уэльбека «Расширение пространства борьбы» (Udvidelse af kampzonen).