Аркадий Волож родился 11 февраля 1964 г. в городе Гурьеве Казахской ССР (ныне Атырау). Его отец, Юрий Абрамович Волож (род. 1938), геолог, специалист по нефтяным месторождениям Прикаспия и один из открывателей месторождения Кашаган, был начальником партии «Казгеофизтреста» в Алма-Ате; впоследствии — доктор геолого-минералогических наук, старший научный сотрудник Геологического института РАН. Мать, Софья Львовна Волож, преподаватель Гурьевского музыкального училища.Выпускник Республиканской физико-математической школы в Алма-Ате. Окончил Институт нефти и газа им. И. М. Губкина по специальности «прикладная математика» в 1986 году. Занимался исследованиями в области обработки больших объёмов данных в Институте проблем управления (ИПУ) АН СССР.
В 1989 основал компанию Comptek, занимал должность генерального директора до 2000 года.
В этом же году открыл фирму «Аркадия» , совместно с Аркадием Борковским они выпустили продукт по классификации изобретений объёмом около 10 Мб, который использовался в связанных с патентоведением НИИ и организациях.
В 1998 году в качестве главы Комитета беспроводных сетей доступа Российской ассоциации документальной электросвязи (RANS.RU) Аркадий участвовал в процессе дерегулирования частот для операторов беспроводного доступа.
В 1999 году он был одним из тех, кто повлиял на судьбу легализации IP-телефонии в России.
В 1997 году Волож сделал первый шаг по созданию компании Яндекс — на 10 тыс. долларов были закуплены 3 сервера с жёсткими дисками ёмкостью в 1 Гб, на которых было проиндексировано всё содержимое Рунета. Итогом этих инвестиций стало попадание Яндекса в семёрку наиболее популярных сайтов русскоязычного сегмента Интернета в 1999 году.
С 2000 года — генеральный директор компании Яндекс.
С 2007 года — заведующий кафедрой «Анализ данных» на факультете инноваций и высоких технологий МФТИ.
В рейтинге высших руководителей — 2010 газеты «Коммерсантъ» занял I место в номинации «Медиабизнес» .
В декабре 2012 года, во время проведения Совета по модернизации экономики и инновационному развитию России при президенте РФ, Аркадий Волож обратился к премьер-министру России Дмитрию Медведеву с предложениями по стандартизации форм предоставления информации от властных структур и её большей открытости, что должно улучшить обработку полученной информации поисковыми системами Яндекса в автоматизированном режиме.
В марте 2013 года попал в рейтинг миллиардеров, ежегодно составляемый журналом «Forbes» , его личное состояние было оценено в $1,15 млрд.
В этом же месяце в результате вторичного размещения акций Яндекса на бирже продал 5,14 млн акций за $117 млн.
С 1 сентября 2014 года Волож передал пост генерального директора Яндекса Александру Шульгину и занял должность руководителя группы компаний Яндекса.
В 2016 году вместе с родителями и детьми получил второе гражданство Мальты, для чего было необходимо заплатить не менее 880 тысяч евро по программе инвестиций.