Wraz ze śmiercią wielkiego inicjatora i fundatora Kalwarii Zebrzydowskiej, Michała Zebrzydowskiego, w 1667 r. wygasł ród Zebrzydowskich, lecz dzięki koligacjom rodzinnym ich spuścizna rodowa i spełnianie roli fundatora sanktuarium przeszła na ród Czartoryskich. Patronat nad Kalwarią przejęła Magdalena Konopacka z Czartoryskich - wielka orędowniczka sanktuarium i klasztoru bernardynów. Między innymi z jej inspiracji rozbudowano kościół klasztorny i wzniesiono klasztorne zabudowania gospodarcze. O sympatii do miejsca i bernardynów świadczy fakt, że Czartoryscy w latach 1729-1731 wznieśli tutaj dla siebie barokowy pałac, w którym często przebywali. Pałac przetrwał do 1871 r., kiedy to został rozebrany i w jego miejsce w latach 1984-1993, w oparciu o projekt opracowany przez Janusza Bogdanowskiego, zbudowano Wyższe Seminarium Duchowne. Z pałacu pozostały jedynie zabudowania oficyny, bramy wjazdowej oraz fragmenty fosy i most nad fosą.