Дворец этот сгорел 27 июня 1547 года, но был снова выстроен; вскоре сгорел опять, и его отстроили вновь. В смутное время он был ограблен и поляками и русскими. Царь Михаил возобновил его, сын Михаила, царь Алексей Михайлович, распространил и украсил жилище своего отца.
У царя Алексея Михайловича было большое семейство; тесен становился прежний Кремлевский дворец, и царь, по мере приращения своей семьи пристраивал для нее около дворца особые деревянные хоромы. В них до 1685 года жила и Софья Алексеевна, а в этом году она перешла в построенный для нее новый, каменный дворец, в котором почти все было устроено на европейский лад.
В Москве долго толковали о той роскоши, какою окружила себя царевна-правительница, но особенный говор шел по поводу одного обстоятельства.
«Затеяла царевна Софья Алексеевна отнять бояр у великих государей; видно, совсем хочет войти в царскую власть. Если бы не замышляла этого, так незачем бы ей было заводить в своем дворце новую боярскую палату», — толковали москвичи.
Действительно, в нижнем этаже нового дворца царевны была устроена обширная и великолепная палата, обитая бархатом и назначенная для заседаний боярской думы. Переводя думу в свой дворец, Софья хотела показать, что бояре точно так же должны служить советниками и ей, как служили они в этом качестве государям-самодержцам.
— Уж больно много князь Василий Васильевич силы набрался, — говорил однажды, при выходе из этой палаты, боярин князь Михаил Олегович Черкасский. — Да что с ним поделаешь! Царевне слишком он люб, горою стоит за него. Снова в поход против Крыма собирается, идет затем только, чтобы людей губить, а сам думает славы себе нажить.
— Не мешай ему, пусть отправится. Ходил раз, да ни с чем вернулся, а теперь, наверно, шею себе сломит. Я и другим боярам толкую: пусть они не только его от похода не отговаривают, а, напротив, подбивают. Пойдет он на этот раз на свою погибель, — отвечал боярин князь Иван Григорьевич Куракин.
— Знаешь, князь Михайло Олегович, не место, кажись, здесь говорить об этом, — заметил, боязливо озираясь, боярин князь Борис Иванович Прозоровский. — Лучше соберемся мы к тебе да в сторонке потолкуем об этом.
Говоря о Голицыне, Черкасский и Куракин вспоминали о неудачном его походе, предпринятом в Крым с осени 1686 года. Медленно продвигаясь вперед, Голицын только в конце апреля следующего года проходил лежавшую на пути его степь, когда в воздухе стал проноситься запах едкой гари, а на южной стороне степи начал подниматься дым, ночью же в том же месте стало видно зарево. Ясно было, что в степи начался пожар и что южный ветер нес его прямо на московское войско.