Wzgórze to należy do tzw. Skał Olsztyńskich. Są to duże skupiska skalnych ostańców w okolicy wsi Olsztyn. Mają formę baszt, murów, maczug. Najczęściej wieńczą one okoliczne wzniesienia. Wzgórze Lipówki w najwyższym miejscu ma 351 m. wysokości. Jego wapienne skały pochodzą z okresu jury tj. mają 201-145 mln. lat. Tak jak wiele okolicznych Skał Olsztyńskich, Lipówki są popularne wśród wspinaczy. Na jego skałach poprowadzono kilkadziesiąt dość trudnych dróg.