W XIV w. placyk za prezbiterium kościoła św. Jana był cmentarzem, najstarszym w Warszawie. W 1406 r. kanonikom kapituły warszawskiej (przeniesionej z Czerska) nadano wokół niego działki, aby na nich zbudowali domy. Parcele były bardzo wąskie (6-8 m), ale długie (10-34 m) - biegły prostopadle do skarpy, aż poza mury obronne, gdzie były ogrody. Domy, początkowo drewniane, po pożarze w 1607 r. odbudowano jako murowane, dwupiętrowe. Było ich 12. Kiedy zlikwidowano mury obronne, na posesjach kanoników wzniesiono drugi rząd budynków.
W 1780 r. cmentarz w środku miasta zlikwidowano. Pozostałością po nim jest zabytkowa figurka Najświętszej Marii Panny z 1771 r., stojąca na tle prezbiterium kościoła.
W XVIII w. pobożni kanonicy wynajmowali partery swoich domów na szynki - na 12 domów były aż 4 karczmy! W 1800 r. trzy kanonie (nr 6, 7, 8) nabył ks. Stanisław Staszic, który utworzył w nich pierwszą siedzibę założonego przez siebie Towarzystwa Przyjaciół Nauk. Towarzystwo mieściło się tu aż do 1823 r., do wybudowania pałacu Staszica - dzisiejszej siedziby Polskiej Akademii Nauk.
Innym znanym lokatorem kamieniczki przy Kanonii był Jan Paweł Woronicz - arcybiskup warszawski, kaznodzieja, poeta, prymas Polski w latach 1828-1829. Na początku XX w. mieszkał tu Artur Oppman (1867-1931), znany pod pseudonimem Or-Ot, autor wierszy i legend o Warszawie.
W 1944 r. zabudowa Kanonii, podobnie jak całe Stare Miasto, została zniszczona. Odbudowano ją w latach 1958-1960. Dzisiaj możemy podziwiać kamieniczki, a wśród nich najwęższą na Starówce, a kto wie czy nie w Europie - od strony placyku ma ona szerokość tylko jednego okna! Jednakże gdybyśmy weszli do klatki schodowej, albo obejrzeli jej elewację od strony Wisły, okazałoby się, że jest dużo szersza. Po prostu działka ma kształt trójkąta, a nie prostokąta. Był to swego rodzaju wybieg - podatki płaciło się od szerokości kamienicy od głównej ulicy; w tym przypadku były one najniższe.
Ciekawym obiektem na placyku jest stary dzwon, ustawiony tu w 1972 r. Odlano go w 1646 r. z fundacji Jana Mikołaja Daniłowicza, podskarbiego wielkiego koronnego (na dzwonie można zobaczyć jego kartusz herbowy). Był przeznaczony dla kościoła jezuitów w Jarosławiu. Niemiecki napis na dzwonie mówi, że jest dziełem Daniela Thyma - tego samego, który w 1644 r. odlał figurę króla Zygmunta III Wazy wieńczącą kolumnę na pl. Zamkowym. Na dole dzwonu umieszczono łaciński cytat z Psalmu 150: "Chwalcie Go na cymbałach dźwięcznych, wszelki duch chwali Pana".
Na Kanonii można zobaczyć najstarszą w Warszawie kamienną tabliczkę z nazwą ulicy (obok - tabliczka współczesna).