Родился в Белостоке, тогда уездном городе Гродненской губернии Российской империи (ныне — в составе Польши).
В возрасте 10 лет эмигрировал с родителями в Америку. Изучал искусство в Институте Пратта в Бруклине у Артура Уэсли Доу.Виолончелист. Ок. 1917В 1905 году Вебер скопил достаточно денег, чтобы поехать в Париж и учиться там в Академии Жюлиана, Академии Коларосси и Гранд-Шомьер.
В 1908 году обучался также в парижской Школе Матисса.
В этот период он посещал салон Гертруды Стайн и был близким другом Анри Руссо.
На его творчество большое влияние оказали работы Пикассо и Брака.
В 1909 году он вернулся в США, где сблизился с нью-йоркскими авангардистами и выставлялся в Галерее 291 Альфреда Стиглица.
В период с 1909 по 1917 год он создал многие из лучших своих произведений (преимущественно городские пейзажи, в которых стремился передать движение и бурный ритм американской жизни).
В ряде работ ощущается влияние кубизма и фовизма.После 1917 года живопись Вебера эволюционировала в сторону фигуративности, хотя он продолжал эксперименты с цветом и формой.
В последние 20 лет жизни в его творчестве значительное место занимала еврейская (в частности, хасидская) тематика.Творчество Вебера оказало большое влияние на ранние работы Марка Ротко, бывшего его учеником.