Założony przez Prusaków w 1800 r. Główna aleja cmentarna była częścią dawnego traktu napoleońskiego, którym wojska księcia Hieronima Bonapartego maszerowały na Moskwę. Początkowo nekropolia była podzielona na kwatery: rzymskokatolicką, prawosławną, muzułmańską, ewangelicką i żydowską.

Najstarsze i najciekawsze pomniki skupione są w pobliżu kaplicy cmentarnej ufundowanej przez rodzinę Truszkowskich w 1832 r. Wokół kaplicy zachowały się najstarsze nagrobki, m.in. kilka odlewów żeliwnych nagrobków z Huty Sztabińskiej. Najbardziej okazały, kształtem przypominający kapliczkę gotycką, upamiętnia miejsce spoczynku Adolfa Gerschowa – pierwszego administratora Fundacji Sztabińskiej. Obecnie poza cmentarzem znajduje się dawna kwatera żydowska, upamiętniona pomnikiem z czarnego marmuru (1981) poświęconym mieszkańcom Augustowa narodowości żydowskiej, ufundowanym przez kilka rodzin z Nowego Jorku.