Na místě tří měšťanských domů na Velkém náměstí byla vystavěna počátkem 18. století biskupská rezidence. Přední část do náměstí navrhl M. A. Canevallo, zadní trakt barokní budovy byl dostavěn v letech 1714 - 1716 dle plánů J. B. Santiniho biskupem Janem Adamem Vratislavem z Mitrovic. Roku 1777 bylo o patro zvýšeno hlavní průčelí.