W Filipowie w II połowie XIX wieku istniało wiele gmin żydowskich. Według statystyk z 1861 roku Filipów liczył wówczas 2551 mieszkańców, z czego 812 stanowili Żydzi. W 1844 roku Wyznaniowa Gmina Żydowska wybudowała tu synagogę. Wiadomym jest, że w 1927 roku ze względu na zły stan techniczny nie była już używana. Obok synagogi zlokalizowany był dom modlitwy, a tuż przy nim murowane mieszkanie rabina składające się z trzech pokoi i kuchni. Całość pokryta była gontem.

W 1927 roku stan tych pomieszczeń określano jeszcze jako dość dobry. W tym czasie w Filipowie poza synagogą istniało jeszcze siedem domów modlitwy, a gmina zrzeszała 263 członków. Obecnie w miejscu synagogi przy ulicy Garbaskiej ustawiony jest krzyż, a za nim znajdują się ruiny pozostałych zabudowań.

W odległości 1,5 kilometra za wsią znajduje się żydowski cmentarz. Kiedyś otoczony był kamiennym murem z bramą i zajmował powierzchnię około 1 hektara. Zachowała się mapa z 1930 roku oraz film archiwalny nakręcony w 1937 roku przez Żyda Elliota Millera mieszkającego wówczas w Suwałkach. Na jego podstawie nie określono jednak ilości znajdujących się na cmentarzu macew. Nagrobki ustawione były pionowo w formie kamiennej lub żeliwnej płyty zamkniętej u góry dwoma odcinkami koła pokrytej inskrypcją i zdobionej płaskorzeźbą. Zawierały symboliczne oznaczenia w zależności od osoby i tak np. u kapłana widniały złożone dłonie, u kobiety świecznik, u uczonego Tora.

W okresie II wojny światowej cmentarz został zdewastowany. Dziś – znajduje się na nim około 20 zniszczonych i porozrzucanych macew. Okoliczny teren z jednej strony stanowię pola miejscowych rolników, z drugiej zaś poza pasmem drzew i krzewów przepływa rzeka Rospuda. W pobliżu znajduje się również schron z 1940 roku.