Na zachód od drewnianego kościółka św. Jakuba Starszego, na roli Antoniego Walczaka, przy połączenia strumienia Biłka z rzeką Żylicą, w miejscu, gdzie przed ponad 100 laty odbywały się pierwsze misje, wzniesiono murowaną kaplicę. Jej datowanie sięga około roku 1830. Kaplicę postawiono w identycznym punkcie, gdzie niegdyś stał namiot, w którym podczas misji jezuickich odprawiano Msze Święte. Głównym inicjatorem budowy kaplicy był ówczesny proboszcz, rodem z Węgier, ksiądz Alojzy Kwatskay. Budowla posiada dwa dębowe okna zwieńczone tzw. oślim grzbietem oraz cebulastą wieżyczką. Może ona pomieścić około 30 osób. Do niedawna w każde południe dzwoniono w niej na Anioł Pański. Przed laty dzwonek kapliczny odprowadzał wszystkich mieszkańców na miejsce wiecznego spoczynku. Niedawno kaplica została odnowiona i jest często odwiedzana przez turystów z kraju i zagranicy.