Jednym z charakterystycznych miejsc Siedlec jest Plac Tysiąclecia. Kwadratowy plac ma wpisane w swoim centrum okrągłe rondo, na którym stoi widoczny z daleka kościół z masywnym krzyżem w szczycie. Świątynią ową jest kościół garnizonowy pw. Najświętszego Serca Pana Jezusa.

Ponieważ Siedlce do wybuchu II wojny światowej stanowiły stolicę carskiej guberni oraz garnizonu wojskowego, miasto zamieszkiwane było przez dużą grupę osób prawosławnych. Dla nich na dzisiejszym Placu Tysiąclecia zbudowano w latach 1868-1869 okazałą cerkiew. Zaprojektowana przez architekta Jakimowskiego wyróżniała się pięcioma kopułami i wyjątkowo bogato zdobionym wnętrzem. Po odzyskaniu niepodległości i wyjeździe Rosjan cerkiew była nieużytkowana.

Przejęta przez kościół katolicki stał się świątynią garnizonową. Obiekt poddano gruntownej przebudowie w okresie 1928-1933. Autor przebudowy, architekt Michał Sławiński, nadał kościołowi zupełnie nowy, modernistyczny wygląd. Kościoła garnizonowego nie wpisano do rejestru zabytków, ale jest obiektem o znaczeniu lokalnym ujętym w gminnej ewidencji zabytków.