Направлениями научных исследований О. Г. Виленского являются клиника шизофрении, особенно её ипохондрической и вялотекущей форм, сочетание шизофрении c эпилепсией, последствия закрытых черепно-мозговых травм, хронический алкоголизм, проблема стресса, психиатрическая врачебно-трудовая экспертиза.
В своих трудах профессор Виленский придерживался концепции о том, что психические расстройства самостоятельны, и нет убедительных доказательств их связи с соматическим состоянием или поражением головного мозга.
Он также считал, что все психические расстройства укладываются в схему единого психоза, что существенно облегчает принципы диагностики, экспертизы и лечения психически больных.