Родился 14 января 1945 года в городе Актюбинск Актюбинской области Казахской ССР. После школы работал токарем на заводе ферросплавов.
В 1964 году по направлению завода поступил в Саратовский политехнический институт. Через полгода специальным решением Министерства обороны СССР был призван в армию и направлен в секретную школу авиации, которую заканчивает через два года. После окончания секретной школы старший сержант О. И. Гайданов проходил службу на полигонах Байконур, Капустин Яр и других. Параллельно со службой Олег Иванович окончил партийную школу при политическом управлении Советской Армии. После демобилизации в ноябре 1967 года О. И. Гайданов был направлен на комсомольскую работу.
В 1968 году Олег Иванович поступил в Оренбургский филиал Всесоюзного юридического заочного института, который заканчил в 1973 году.
В 1971 году О. И. Гайданов был назначен помощником районного прокурора, а в 1973 году его переводят помощником областного прокурора.
В 1974 году, в связи с организацией в Актюбинске нового Пролетарского района, Олег Иванович Гайданов назначен прокурором этого района.
В 1978 году Олегу Ивановичу был досрочно присвоен чин советника юстиции и он был назначен первым заместителем прокурора Гурьевской области.
В 1981 году О. И. Гайданов был назначен заместителем начальника следственного управления Прокуратуры Казахской ССР.
В 1983 году Олег Иванович в Саратовском юридическом институте защищает кандидатскую диссертацию на тему: «Прокурорский надзор за исполнением законов об охране рыбных запасов» .О. И. Гайданов более четырёх лет был заместителем прокурора Узбекской ССР, в данной должности участвовал в работе следовательской группы Т. Х. Гдляна и Н. В. Иванова при расследовании Хлопкового дела. Так же О. И. Гайданов был прокурором Целиноградской области.
В 1993 году Олег Иванович был назначен прокурором Московской области, а в октябре 1993 года он был назначен начальником следственного управления Генеральной прокуратуры РФ и на этой должности руководил расследованием уголовных дел, связанных с разгоном Съезда народных депутатов и Верховного Совета, с захватом заложников в Будённовске.13 мая 1994 года Олег Иванович Гайданов был назначен заместителем Генерального прокурора РФ, а с 8 по 24 октября 1995 года был временно исполняющим обязанности Генерального прокурора Российской Федерации.16 ноября 1995 года Олег Иванович уходит в отставку и после этого занимает ряд должностей в нескольких компаниях, а в 1998 году основывает юридический центр «Советник права» .
С 2004 года является членом экспертного совета комитета по безопасности Государственной думы РФ.Женат на Валентине Романовой, дочери бывшего члена политбюро ЦК КПСС Г. В. Романова.