Однажды по просьбе мужа, подозревавшего измену, в укромную квартиру Гюго, предназначавшуюся для тайных свиданий, нагрянула полиция, застав любовников «за интимным разговором». В то время во Франции адюльтер сурово карался. Леони была арестована, а Гюго отпущен, поскольку имел статус неприкосновенности пэра. Над этой комичной ситуацией немало поиздевались газеты: любовница оказалась за решеткой в обществе проституток, а ее соблазнитель — на свободе.
Дело дошло до короля, посоветовавшего писателю уехать на время из Парижа. Но Виктор предпочел спрятаться у верной Жюльетты — женщины, которая не боялась скандалов, соперниц и политических перипетий. Именно она нашла в момент прихода к власти Наполеона III необходимые для Гюго подложные документы, организовала быстрый отъезд из страны и тайно последовала за ним сначала в Бельгию, а затем в Англию. С этого времени Гюго стал символом интеллектуального сопротивления диктатуре.
Жюльетта Друэ все время была рядом. Из просто любовницы она превратилась в друга, единомышленника, секретаря, занимаясь документами и архивами Гюго. Их связь стала настолько плодотворной, что даже Адель перед своей смертью просила прощения у мужа и его Музы. В последний месяц своей жизни она разрешила Жюльетте войти в круг их семьи, смирившись с неотделимой «тенью» своего супруга.
Адель умерла в 1868 г., а через три года Гюго в сопровождении Жюльетты Друэ вернулся во Францию. Писатель стал национальным героем, а его подруга — общепризнанным компаньоном, женой во всем, кроме имени. Впрочем, тогда это для нее уже было не столь важно. Она прожила со своим кумиром почти целую жизнь в качестве любовницы и свыклась с этим положением, не претендуя на большее. Тем более что свои привычки молодости в отношении беспорядочных связей престарелый «Фавн» никогда не оставлял.
Последние годы жизни Гюго прошли в атмосфере внешнего почитания со стороны официальной Франции. Он был сказочно богат благодаря бесконечным переизданиям своих книг. В январе 1876 г. его избрали в Сенат, пресса расточала похвалы всему, что выходило из-под его пера. Между тем все явственнее давал о себе знать надвигающийся конец земного пути. В июне 1878 г. у Гюго произошло кровоизлияние в мозг, от которого он оправился, но после этого практически не написал ничего нового. Он стал затворником, хотя иногда принимал знатных иностранцев, желавших поглядеть на национальную знаменитость, и между делом умудрился соблазнить замужнюю Жюдит Мендес, 22-летнюю дочь писателя Теофиля Готье.
28 февраля 1882 г. Гюго отметил свое восьмидесятилетие. В этот день мимо его дома на проспекте Эйлау прошло более 500 тыс.