Бергсман была вокалисткой The Concretes на протяжении 12 лет со времени основания коллектива в 1995 году, и при её участии были записаны два студийных альбома, несколько синглов и миньонов.
В 2004 году Peter Bjorn and John выпустили на сингле кавер-версию их песни «Teen Love» , которая также вошла во второй альбом трио Falling Out, а в августе 2006 года, вскоре после ухода Бергсман из The Concretes, состоялся релиз хита «Young Folks» , записанного при её участии. Позднее она также записывала вокал на трёх треках с альбома Beautiful Future (2008) группы Primal Scream и на синглах шведского дуэта Korallreven: «Honey Mine» (2010) и «As Young As Yesterday» (2011).Покинув группу, Бергсман начала сольный проект под именем Taken by Trees и в 2007 году издала дебютный альбом Open Field на лейбле Rough Trade. Пластинку помогал записывать Бьёрн Иттлинг, музыкант вышеупомянутого трио. Два года спустя был выпущен второй диск Taken by Trees под названием East of Eden. Во время работы над ним Бергсман отправилась в Пакистан, где собрала группу музыкантов-любителей, с которыми записала альбом.Кавер-версия хита Guns N" Roses «Sweet Child o" Mine» в исполнении Taken by Trees, выпущенная в 2009 году на сингле, заняла 23-е место в британском хит-параде. Песня также прозвучала в трейлере фильма «Последний дом слева» и в заключительных титрах романтической кинокомедии «Жизнь, как она есть» .
В феврале 2012 года лейбл Secretly Canadian заключил контракт с Taken by Trees. Other Worlds, третья студийная работа проекта, вдохновлённая путешествием на Гавайи, была выпущена в октябре 2012 года.