Мало-помалу, находясь в большом приближении у государя, Сперанский сосредоточил в своих руках все текущие дела управления: он занимался и финансами, которые были в большом расстройстве, и дипломатическими делами, в которые его посвящал сам государь, и устройством Финляндии, тогда завоеванной русскими войсками. Между прочим, Сперанский заново пересмотрел все подробности произведенной в начале царствования императора Александра реформы центрального управления и во многом изменил и улучшил устройство министерств. Перемены, произведенные в распределении дел по министерствам и в порядке управления ими, были изложены в новом законе о министерствах (изданном в 1811 г. под названием «общего учреждения министерств»). Самое число министерств было увеличено до 11 (прибавлены, между прочим: министерство полиции, путей сообщения, государственный контроль).
Деятельность Сперанского и его быстрое возвышение возбуждали во многих неудовольствие. Одни завидовали личным успехам Сперанского и готовы были на интригу против него. Другие видели в Сперанском слепого поклонника французских идей и порядков и сторонника союза с императором Наполеоном. Считая влияние Франции разрушительным, а союз с Наполеоном постыдным, эти люди из патриотического чувства вооружались против направления Сперанского и считали нужным ему противодействовать. Один из самых талантливых и известных литераторов того времени, европейски образованный Н. М. Карамзин составил для государя записку «о древней и новой России» и в ней доказывал вред и опасность мер Сперанского. Эти меры, по мнению Карамзина, легко и необдуманно уничтожали старые порядки и столь же легко и необдуманно вводили в русскую жизнь французские формы. Хотя Сперанский и отрицал свою приверженность к Франции и Наполеону, однако в глазах всего общества его близость к французским влияниям была неоспорима. Когда отношения России и Франции обострились и русские ожидали нашествия Наполеона на Россию, император Александр дал ход обвинениям против Сперанского и не счел возможным оставить его вблизи себя. Сперанский был уволен от должности государственного секретаря; мало того, по каким-то темным обвинениям и интригам, государь отправил его в ссылку (в Нижний-Новгород, а потом в Пермь), откуда Сперанский был возвращен лишь в конце царствования Александра.
Таким образом, император Александр и со Сперанским не осуществил своего стремления к государственному преобразованию.