První zmínky o Vidžíně pocházejí z roku 1233, kdy královna Konstancie prodala středověké sídlo tepelskému klášteru premonstrátů. Tvrz, kdysi pravděpodobně stála na místě dnešního zámku, byla původně spojována s Řádem německých rytířů. Tento akt měl významný vliv na další osud Vidžína, protože se stal součástí majetku jednoho z nejvýznamnějších klášterů v regionu, který hrál důležitou roli v duchovním i hospodářském životě středověkých Čech. 

Premonstráti z kláštera Teplá využili Vidžín jako součást svého rozsáhlého pozemkového vlastnictví a postupně zde rozvíjeli církevní správu. Tvrz byla pravděpodobně přeměněna na faru, což odpovídalo tehdejším potřebám klášterního hospodaření a duchovní péče o okolní obyvatelstvo. Tato změna vlastnictví také přispěla k upevnění vlivu premonstrátů v oblasti severního Plzeňska.
V roce 1753 bylo toto místo přestavěno na letní sídlo opatů.