Nazwa Góry Krzyżowej związana jest z pracą górników w dawnych kopalniach złota. Po ustawieniu na niej krzyża modlili się o szczęśliwy powrót z kopalni do domu. Krzyżami upamiętniali oni także innych górników, którzy zginęli w chodnikach i sztolniach.

W 1731 r. ówczesny zarządca kamieniołomu S. Kachler zbudował tu kapliczkę poświęconą św. Annie. W późniejszym okresie dobudowano pustelnię, w której mieszkał pustelnik sprawujący opiekę nad kapliczką i wybudowaną wokół szczytu kalwarią. Przebudowana w 1836 r. kapliczka dotrwała do 1953 r. Ostatnim eremitą na Górze Krzyżowej był franciszkanin Robert Domsch. W 1946 r. został wysiedlony do Niemiec. Brak opieki oraz uruchomienie na zboczu góry kamieniołomu spowodowało zniszczenie pustelni i kapliczki.