У 1070-88 рр. тут на схилах Дніпра була споруджена соборна трьохнефна, шестистовпна, п'ятибанна церква святого Михайла. В XV або XVI ст. внаслідок повені храм завалився разом з частиною пагорба. Після відновлення і реконструкції в 1766-1769 рр. він отримав вид однокупольної будови в стилі бароко. У ньому частково збереглися графіті, фресковий розпис, мозаїка XI ст. – фрагменти композиції «Страшний суд» і рослинні орнаменти.
В кінці XVII- початку XVIII ст. стародубський полковник М.Міклашевскій звів тут кам'яний п'ятибанний Георгіївський собор і трапезну з церквою Спаса (1686-1701), а гетьман Д. Апостол – дзвіницю (1727-33) в стилі українського бароко.