Parafia w Gilowicach istniała już w XIV wieku, kiedy powstał pierwszy drewniany kościół będący obecnie kaplicą cmentarną w Rychwałdku. Kościół św. Andrzeja Apostoła, stojący w samym centrum Gilowic, przy drodze z Żywca do Ślemienia, przeniesiono w to miejsce z Rychwałdu w 1757r. Powstał początkiem XVI wieku, rozbudowany z fundacji Komorowskich.

Wnętrza zachowały interesujące zabytki sztuki sakralnej tj. obrazy i posążki świętych, polichromię wykonaną przez żywieckiego malarza Sobinowicza, XX wieczną polichromię z dwoma dużymi scenami z Pisma Świętego”, późnobarokowe ołtarze boczne, wczesnobarokowa ambonę (dar Komorowskich z 1440r.). Świątynia otoczona jest kilkoma 700 letnimi dębami, chronionymi jako pomniki przyrody. Zachowały się przy nim pozostałości starego, XIX wiecznego cmentarza .