Dworek powstał w XVIII wieku. W drugiej połowie XIX wieku po całkowitej przebudowie zyskał cechy stylu klasycystycznego. Budynek należący pierwotnie do do rodziny Nowakowskich, otaczały niegdyś zabudowania dworskie i park. Ostatnim właścicielem dworku w Brzozowej był Jan Witkowski. W budynku znajdował się posterunek milicji, a później szkoła. W latach 70-tych XX wieku dworek odrestaurowano i tylko w zewnętrznym kształcie architektonicznym oddano jego pierwotny wygląd, wnętrze budynku przystosowano do potrzeb szkoły.