Budynek kolegialny wznoszono w latach 1746-1760. Jest to obiekt w stylu barokowym, piętrowy, częściowo podpiwniczony. Stoi w centrum miasta, w bezpośrednim sąsiedztwie kościoła Przemienienia Pańskiego, z którym łączy go piętrowe przejście na arkadach. Do lat 90. XX w. piętro budynku zajmował Sąd Rejonowy. W latach 2006-2008 budynek przeszedł gruntowny remont a piętro budynku przeznaczono na działalność Katolickiego Centrum Kultury. Obecnie znajdują się tu m.in. : biblioteka z czytelnią, pięć sal muzealnych, dwa pomieszczenia wielofunkcyjne, dwie sale spotkań ekumenicznych, jadalnia i osiem pokoi gościnnych.

11 Listopada 1991 r. na frontowej ścianie budynku, społeczeństwo Brzozowa umieściło pamiątkową tablicę ofiarowaną oddziałom AK, które w okresie terroru stalinowskiego, w tym miejscu 13 grudnia 1944 r. dokonały zbrojnego uwolnienia więźniów z rąk NKWD i UB.