Początki historii zamku biskupów nie są do końca znane. Pierwszy budynek częściowo murowany wzniesiono w trakcie napraw i remontów budowli drewnianych zniszczonych podczas najazdu Mongołów w połowie XIII wieku. W roku 1285 podczas zatargu pomiędzy biskupem Tomaszem II a księciem Henrykiem IV Probusem, zamek został zdobyty i zburzony przez księcia. Około roku 1295 rozpoczęto naprawę i rozbudowę zamku, ale główne prace budowlane prowadzone były w latach 1341-1376.
Zamek składał się wtedy ze skrzydła mieszkalnego oraz wieży. W połowie XIV wieku wzniesiono kaplicę. W roku 1430 zamek w Otmuchowie zajęli husyci. Zawarty kompromis finansowy z husytami pozwolił dwa lata później na odzyskanie zamku przez biskupów. Podczas kolejnej przebudowy zamku pod koniec XVI wieku pojawiły się elementy stylu renesansowego. Po zakończeniu działań wojennych wojny trzydziestoletniej, na przełomie XVII/XVIII wieku zdecydowano o kolejnej zmianie wystroju zamku oraz otoczenia, nadając mu charakter barokowy.