W XV w. Srebrna Góra posiadała prawa miejskie, które utraciła pod koniec XVI w. Ozdobą dzisiejszej wsi jest piękny dwór zbudowany w 1799 r. dla Józefa Radzimińskiego. Dwór jest parterowy z wysokim czterokolumnowym portykiem, nakryty dużym dachem czterospadowym. Po obu stronach dziedzińca stoją dwie oficyny z portykami. Całe założenie dworskie otoczono murem z balustradą w 1925 r. Do dworu przylega park krajobrazowy ozdobiony stawem z wysepką.