Z drewnianym kościołem pw. św. Jana Chrzciciela w Kozłowicach wiąże się interesująca legenda, z której wynika, że znajdował się najpierw w sąsiedniej miejscowości Chudoba i był wkładem w grze w karty. Zwycięzca miał odebrać wygraną świątynię pod warunkiem, że w ciągu jednej nocy potrafi ją rozebrać i wywieźć. Sprytny fortel pozwolił wywiązać się ze zobowiązania. Zwołano całą okoliczną ludność i przewieziono kościół w częściach na stu furmankach. Początkowo miał stanąć przy głównej drodze w centrum Kozłowic, ale tajemna siła w ciągu nocy przeniosła zgromadzone elementy w sąsiedztwo bijącego na peryferiach źródełka, co tłumaczono wolą jego patrona.

Napisy na dzwonach z 1651r. świadczą, że w Kozłowicach drewniany kościół istniał już w XVII w. Potwierdzają to również XVII wieczne wpisy z wizytacji biskupich. Prawdopodobnie kościół wzniesiono w 2 połowie XVII wieku na potrzeby ewangelików. Kolejna historia związana jest z dzwonami kościelnymi. Mianowicie w okresie II wojny światowej na mocy rozporządzenia Hermanna Göringa o rekwizycji dzwonów znajdujących się zarówno w „starej Rzeszy” i terenach do niej wcielonych, jak i na wszystkich pozostałych obszarach przez nią okupowanych, zostały wywiezione do Niemiec.

Budowla posiada interesujące wnętrze zdobione polichromiami: na ścianach nawy i prezbiterium - z 2 poł. XVIII wieku (postać św. Anny i św. Wacława) oraz na stropie - z początków XIX wieku. W ołtarzu znajduje się obraz Matki Boskiej Częstochowskiej, który także stanowi swoistą ciekawostkę. W 1934r. zwinięty w rulon i schowany przeleżał w ukryciu prawie pół wieku i został znaleziony w latach 90 tych XX w. podczas prowadzonego remontu. W skrytce znajdowała się również odręcznie zapisana kartka z prośbą, aby znalazca doprowadził do umieszczenia go w ołtarzu. Spełniona została prośba i od tej pory w ołtarzu kozłowickiego kościoła mamy obraz Matki Boskiej Częstochowskiej.