Seminarium Duchowne znajduje się w zakupionym przez Pallotynów w 1927r. gmachu po Szkole Rolniczej w Ołtarzewie. Rozbudowa budynku rozpoczęła się w 1937 r. W ciągu dwóch i pół roku wybudowano wschodnie skrzydło oraz postawiono mury kościoła. II wojna światowa zatrzymała te prace. Niemcy zajęli budynki na szpital. W części pomieszczeń kształcili się klerycy. Mimo zagrożenia nieśli oni pomoc okolicznej ludności. Działalność ta doprowadziła do aresztowania w maju 1941 r. i wywiezienia na Pawiak, a potem do Oświęcimia 4 księży, kleryka, 7 braci i 3 osób świeckich. Po zakończeniu wojny wznowiono budowę kościoła pod wezwaniem Królowej Apostołów i skrzydła zachodniego. We wrześniu 1948 r. do Ołtarzewa przybyli klerycy i rozpoczęła się normalna działalność Seminarium, która trwa do dziś. W 1953 r. Stefan Kardynał Wyszyński dokonał konsekracji kościoła.