Gmach powstał w latach 1884-1890 wg projektu Tomasza Prylińskiego. Fundatorem Domu Ubogich im. Ludwika i Anny Helclów była Anna z Treutlerów Helclowa. Znajduje się tu również kaplica św. Anny. Całość utrzymana jest w stylu neorenesansowym, robi monumentalne wrażenie. W czasie II wojny światowej hitlerowcy opróżnili jedno ze skrzydeł i urządzili tu filię więzienia Montelupich dla kobiet. Po wojnie budynek powrócił do swojego pierwotnego przeznaczenia i trwa tak do dzisiaj. Na terenie ogrodów znajdowała się dawniej szubienica miejska.