Budynek świątyni zbudowano w roku 1730 dla właścicieli miejscowej garbarni rodziny Ajzenbergów oraz pracowników żydowskiego pochodzenia z tej garbarni. Niewielki, murowany budynek w stylu barokowo-klasycystycznym spełniał swoją rolę do drugiej wojny światowej, kiedy to został zdewastowany. Po wojnie przez wiele lat był opuszczony, a później wykorzystywany do celów biurowych oraz gastronomicznych. Aktualnie nie jest używany, a od 9 września 2011 roku widnieje w rejestrze zabytków. Budynek z zachowaną pierwotną ścianą frontową posiada ciekawą elewację i stoi w Szydłowcu przy ulicy Garbarskiej 3.