Hospicjum dla konwertytów powstało z fundacji biskupa Teodora Potockiego. Barokowy parterowy, czteroskrzydłowy budynek z niezadaszonym, kwadratowym dziedzińcem, wzniesiony w 1719 r., pełnił później funkcję przytułku dla starców. W elewacji frontowej warto zwrócić uwagę na kartusz z herbem Pilawa pod kapeluszem kardynalskim, zawierający też inicjały fundatora hospicjum i datę fundacji.

Aktualnie w budynku mieści się filia Uniwersytetu Warmińsko-Mazurskiego w Olsztynie.