Szpital funkcjonował do jego zamknięcia przez Niemców w 1939 r. Wybudowano go dzięki Towarzystwu Niesienia Pomocy Ubogim Wyznania Mojżeszowego w 1912 r. Nosił nazwę Szpital Żydowski, ale znany był przede wszystkim jako szpital Pelermana, od nazwiska pierwszego dyrektora - Abrahama Pelermana (1870-1928). Po II wojnie światowej przez wiele lat funkcjonował jako Szpital Kolejowy. Na budynku umieszczono tablicę pamiątkową z napisem w języku polskim, hebrajskim i angielskim: "Żydowski szpital w Sosnowcu zbudowany w roku 1912 z inicjatywy Dr. Abrahama Perimana. Służył żydowskiej ludności z Sosnowca i okolic aż do likwidacji getta przez niemieckich okupantów w sierpniu 1943 roku". Napis zawiera błąd, nazwisko dr Pelermana zapisano jako Perimana. Jest on pochowany na cmentarzu żydowskim przy ul. Gospodarczej.