Dzisiejszy Dom Pielgrzyma zbudowany został w 1819 roku, jako dom księży przy kolegiacie św. Józefa. Zaprojektował go Sylwester Szpilowski, twórca wielu budowli kaliskich w XIX wieku. Nowy obiekt był budynkiem o dwóch kondygnacjach i raczej skromnym wystroju. Do końca XX wieku przechodził kilka przebudów, ale najważniejsza z nich miała miejsce w pierwszych latach XXI wieku. Budynek podwyższono o jedną kondygnację pozostawiając pierwotny wygląd fasady.

Dzisiaj Dom Pielgrzyma oferuje miejsca noclegowe dla gości odwiedzających sanktuarium św. Józefa. W budynku znajduje się również restauracja Św. Józefa oraz aula konferencyjna.