W czasie gdy Żydom nie pozwalano na osiedlanie się w granicach miasta, zamieszkiwali położoną pod Łomżą wioskę Rybaki. Obecnie wioska jest w granicach miasta, a ulica, na której znajduje się cmentarz, nosi nazwę Rybaki. Cmentarz jest malowniczo położony na wysokiej, nadnarwiańskiej skarpie. Roztacza się stąd wspaniały widok na dolinę Narwi. Rekonstrukcję kirkutu przeprowadzono w latach 80-tych ubiegłego wieku. Nagrobki ustawiono w trzech grupach, środkiem przeprowadzono alejkę. Nagrobki wykonane z głazów narzutowych posiadają wypukłe litery i płaskorzeźby, jest ich około 150.