Renesansowy gmach dawnego Klasztoru Dominikańskiego od zachodniej strony jest praktycznie przyklejony do Bazyliki Nawiedzenia Najświętszej Marii Panny. Jego masywne mury, zwieńczone w narożnikach okrągłymi basztami przykrytymi hełmami, powodują, że bardziej przypomina on zamek magnacki niż miejsce ciszy i modlitwy. Budowa klasztoru trwała prawie przez cały XVII w. Zakonnnicy przebywali w nim do czasu III rozbioru Polski. Obecnie trwają w klasztorze prace remontowe mające na celu przywrócenie pierwotnego wyglądu. Mimo tego istnieją już wewnątrz sale wystawowe, otwarto Muzeum Diecezji Sejneńskiej, tworzy się również muzeum etnograficzne.