Но потом Елизавета одумалась, пожалела о своем великодушном поступке и решила задержать Анну с семьей в Риге. Несчастная семья оказалась в заточении в Динамюнде — крепости на Даугаве. Стало ясно, что клетка за несчастными захлопнулась навсегда. В Динамюнде узники провели более года, там в 1743 году Анна родила третьего ребенка — Елизавету (принцессу Екатерину она родила еще в Петербурге в 1741 году), а в январе 1744 года их всех повезли подальше от границы — в центр России, в город Раненбург Воронежской губернии. Императрица требовала, чтобы при этом ведавший перевозкой генерал Салтыков сообщил: отъезжая на новое место, Анна Леопольдовна и ее муж были «недовольны или довольны». Салтыков отвечал, что когда члены семьи увидели, что их намереваются рассадить по разным кибиткам, они «с четверть часа поплакали» и, вероятно, думали, что их хотят разлучить. Опасность быть разлученными друг с другом теперь повисла над ними как дамоклов меч. Жизнь их проходила в ожидании худших событий. Их привезли в Раненбург — город под Липецком. Там Брауншвейгская семья прожила до конца августа 1744 года, а затем туда внезапно прибыл спецкурьер майор Николай Корф. Он привез с собой секретный указ императрицы, жестокий и бесчеловечный. Предполагалось заключить арестантов в Соловецкий монастырь — место дикое и суровое. При этом ему поручалось ночью отобрать у родителей экс-императора Ивана и передать капитану Миллеру, которому было приказано везти четырехлетнего малыша в закрытом возке на север, ни под каким видом никому не показывая и ни разу не выпуская его из возка.
Более двух месяцев Корф вез Брауншвейгскую семью к Белому морю. Но из-за бездорожья довезти не смог и упросил Петербург хотя бы временно прекратить это измотавшее всех — узников, охрану, самого Корфа — путешествие и поселить арестантов в Холмогорах — небольшом городе на Северной Двине, выше Архангельска. Весной 1746 года в Петербурге решили, что узники здесь останутся еще на какое-то время. Никто даже не предполагал, что пустовавший дом холмогорского архиерея станет их тюрьмой на долгие тридцать четыре года!
Анне Леопольдовне было не суждено там прожить дольше двух лет. 27 февраля 1746 года она родила мальчика — принца Алексея. Это был последний, пятый ребенок, — четвертый, сын Петр, родился уже в Холмогорах в марте 1745 года. Рождение всех этих детей было тоже причиной ненависти Елизаветы к Анне.
