Родился в Голландии в семье хаззана, а позже кантора Лондона Симона Ашера. Учился музыке y И. Мошелеса, за которым последовал из Лондона в Лейпцигскую консерваторию, a затем, не окончив консерваторию, стал учеником Мендельсона.
В 1849 отправился в Париж, где через несколько лет получил звание придворного пианиста французской императрицы Евгении. Такого же отличия И. Ашер удостоился от австрийского императора и экс-королевы Изабеллы.
В 1865 году И. Ашер вернулся в Лондон.Последние два с половиной года композитор страдал неизлечимой нервной болезнью, явившейся следствием неправильного образа жизни и чрезмерных музыкальных занятий.