W 1602 r. prywatne wcześniej miasto Sejny stało się własnością zakonu dominikanów. To oni w 1768 r. wydali zgodę na osiedlenie się w Sejnach Żydów. Po blisko 100 latach, rabin i uczony Mojżesz Icchak Awigdor wybudował w będących wtedy już pod zaborem rosyjskim Sejnach żydowską szkołę – Jesziwę. Skupiała ona zwolenników żydowskiego oświecenia – Haskali, opowiadających się za asymilacją Żydów z narodami europejskimi.

Szkoła, która szybko zyskała sławę przyciągając uczniów z odległych terenów Królestwa Polskiego i Rosji została wkrótce zamknięta przez władze rosyjskie i przekształcona w cheder – niższego szczebla szkołę dla chłopców. W tym czasie w budynku powstała też sala modlitewna, przez co budynek w niektórych źródłach nazywany bywa synagogą.

W czasie okupacji niemieckiej budynek został zamieniony na magazyn zboża, a po wojnie działał w nim zakład obuwniczy. Od 1990 r. budynek użytkowany jest przez Ośrodek „Pogranicze – sztuk, kultur, narodów”. Mieściła się w nim Galeria „Papuciarnia” (od miejscowego określenia dawnej fabryki obuwniczej), pracownie artystyczne, a obecnie Sejneńska Spółdzielnia Jazzowa.

Dwukondygnacyjny budynek wybudowany został w stylu klasycystycznym. Na paterze funkcjonowała szkoła, zaś w obszernej sali na piętrze dom modlitewny. Obiekt wpisany jest do rejestru zabytków od 1983 roku.