Barokowy kościół pw. Podwyższenia Krzyża Świętego, zwany "Kaplicą Piłata", wzniesiony został w 2 połowie XVII w. u zbiegu głównych ulic miasta - Kalwaryjskiej i Pijarskiej - wyznaczających ramiona krzyża. Budynek pełnił dawniej funkcję kaplicy kalwaryjskiej i był zarazem początkową stacją Drogi Pasyjnej.

W krypcie kościoła (pod ołtarzem) spoczywa założyciel miasta bp Stefan Wierzbowski. Warto zobaczyć także znajdujący się tutaj najcenniejszy zabytek sakralny Góry Kalwarii - XVI-wieczną woskową Pietę. Rzeźba przywieziona została do Polski prawdopodobnie na zamówienie króla Zygmunta III Wazy. Do Góry Kalwarii trafiła jako dar królowej Eleonory - wdowy po Michale Korybucie Wiśniowieckim.