С 1510 года был учителем музыки в Магдебурге, в 1526 году получил там место кантора и руководителя городской музыки («музикдиректора» ).
В магдебургских церквах Агрикола ввёл немецкий хорал и был в числе первых музыкантов, которые заменили в Германии табулатуру партитурой. Автор шести музыкально-теоретических трактатов и одной компиляции, которые (в связи с его протестантскими убеждениями) стремился писать по-немецки (впрочем, с большим количеством «латинизмов» ). Особенно значим его стихотворный учебник «Инструментальная музыка, по-немецки» (1528) с многочисленными изображениями актуальных для того времени музыкальных инструментов.Для своих трактатов написал более 200 примеров четырёхголосной музыки. Сборник из 54 канонов на cantus firmus, сочинённых Агриколой ок. 1545 г. в дидактических целях (в качестве учебного пособия для немецких музыкальных школ), — ценный памятник немецкой инструментальной музыки XVI века.