Po zachodniej stronie od Pałacu Na Wodzie położony jest niewielki, biały budynek nazywany Nową Kordegardą. Jest to zbudowany w latach 1779-1780 według projektu Dominika Merliniego pawilon, który służył rozrywce. Grano w nim we francuską grę Trou-Madame polegającą na wrzucaniu kul do numerowanych bramek. W 1782 r. budynek zaadaptowano na teatr nazwany Małym lub Komedialnym, który działał do oddania nowej sceny w Pomarańczarni. Obecny, klasycystyczny kształt budynkowi nadał Jakub Kubicki w 1830 r. Po opuszczeniu pomieszczeń przez teatr funkcjonował tutaj magazyn rzeźb.