Budując od połowy XIII wieku, w obrębie murów wzniesiono zamek główny. W południowym skrzydle znajdowały się pomieszczenia używane przez braci zakonnych do wspólnej modlitwy, spożywania posiłków i spania. W skrzydle wschodnim umieszczono sale obrad. Na dziedzińcu postawiono ośmioboczną wieżę z lochem więziennym, studnie i krużganki. Od wschodu nad strumieniem zbudowano wieżę służącą jako obronna i jako toaleta. 7 lutego 1454 roku zbuntowani mieszczanie oblegli zamek i zdobyli go na drugi dzień. Zamek na polecenie Rady Miejskiej został rozebrany a w jego miejscu urządzono śmietnisko .