Najciekawszym zabytkiem budownictwa mieszkalnego przy ulicy Kościelnej jest kamienica Chodkiewiczowej nosząca numer 10.

Budynek, przypominający wyglądem pałac, powstał w 1776 r. Zbudował go Szymon Bogumił Zug dla łowczanki sandomierskiej Teofilii Dunin-Brzezińskiej. W 1784 r. od Duninów-Brzezińskich kamienicę odkupiła starościna żmudzka Ludwika Chodkiewiczowa. Ponieważ Chodkiewiczowie posiadali pałac przy ulicy Miodowej, kamienicę przy ulicy Kościelnej przeznaczyli pod wynajem. Pod koniec XVIII w. najbardziej znanym mieszkańcem domu był wojewoda witebski i brasławski Michał Korwin-Kossakowski, poseł na Sejm Czteroletni.

W XIX w. pałacyk Chodkiewiczowej był jednym z najbardziej eleganckich domów czynszowych Nowego Miasta, w którym mieszkania wynajmowali znani lekarze, urzędnicy i wojskowi. W 1944 r. kamienica spłonęła, jednak z pożogi ocalały mury na całej wysokości. Budynek restaurowany był w latach 1953-1954 pod nadzorem architektonicznym Czesława Bogusza.