Początki Bractwa Kupieckiego Najświętszej Marii Panny sięgają prawdopodobnie 2 połowy XII w. Bractwo skupiało znaczących, głównie sukienniczych kupców toruńskich. Swoją siedzibę ulokowali w gotyckiej kamienicy z przełomu XIII i XIV w. znajdującej się przy dzisiejszej ulicy Żeglarskiej 5. Kamienica była siedzibą bractwa w wieku XIV. Budynek z kolorowej, glazurowanej cegły po przebudowie w XVII w. otrzymał neorenesansowe zdobienie fasady. Ostatnia przebudowa miała miejsce w XIX w.