W XIX w. Góra Kalwaria była ważnym ośrodkiem chasydyzmu. W czasach II RP sława mieszkającego tu cadyka Abrahama Altera przyciągała tysiące pielgrzymów, którzy podróżowali koleją wąskotorową z Warszawy przez Piaseczno (dziś ciuchcia kursuje na trasie Piaseczno - Tarczyn i nie dociera do Góry Kalwarii).

W mieście zachował się cmentarz żydowski z 1827 r. Został zdewastowany w czasie II wojny światowej. Ocalałe płyty nagrobne lub ich fragmenty ustawiono we wschodniej części cmentarza. Znajduje się tu m.in. grobowiec cadyka Izaaka Mejera Tothenberga Altera (zm. w 1866 r.). Warto zobaczyć inne pamiątki po żydowskiej społeczności Góry Kalwarii: dwór cadyka, dom modlitwy, dawna synagoga.