В конце концов эти чувства (а тем более рождение в декабре 1896 года сына Владимира от Павла) скрывать стало невозможно, и Павел Александрович добился у мужа Ольги разрешения на развод. При этом, как говорили злые языки, покинутый супруг Ольги не остался в накладе. В 1902 году любовники уехали за границу. Там, в Италии, они и обвенчались. Узнав об этом, Николай II был крайне огорчен. Он писал матери, императрице Марии Федоровне: «Я имел с ним крупный разговор, кончившийся тем, что его предупредил о всех последствиях, которые его ожидают, если он женится.
К всеобщему огорчению, ничего не помогло... Как это все больно и тяжело и как совестно перед всем светом за наше семейство!» Последовали обещанные для нарушителей закона и установленные еще Александром III репрессии: лишение Павла должностей, чинов, офицерских званий, заказан был ему и путь в Россию. Отобрали у него и детей Марию и Дмитрия — главным опекуном их стал сам император, детей отдали на воспитание в семью его брата, великого князя Сергея Александровича и Елизаветы Федоровны — сестры императрицы.
При этом дети любили отца — по характеру он был человеком добрым и веселым. Его дочь Мария Павловна вспоминала, что ему было присуще необычайное обаяние. «Каждое слово, движение, жест несли отпечаток индивидуальности. Он вызывал расположение всех, с кем доводилось общаться, и так было всегда; с возрастом он не утратил своей элегантности, жизнерадостности и мягкосердечия». Но известие о том, что он женится, потрясло детей, так любивших отца. Из-за границы Павел Александрович писал детям, что «очень страдал от одиночества и как велика его любовь к этой женщине, которая сделала его счастливой.
Он уверял, что любит нас и надеется, что мы будем вместе. Он просил не питать злобы против его жены», что дочери сделать было весьма непросто.
А молодожены тем временем уютно устроились под Парижем, за Булонским лесом, в роскошном, обставленном шедеврами особняке — отправляясь за границу, Павел Александрович предусмотрительно вывез три миллиона рублей, которых хватало на безбедную жизнь.
Как писал узнавший об этом Николай II, «из этого вполне видно, что дядя Павел заранее решил провести свое желание в исполнение и все приготовил, чтобы остаться надолго за границей». В парижском доме Ольга родила двух дочерей: Ирину и Наталью. Но запрет на въезд в Россию все-таки терзал Павла, и когда в начале 1905 года эсеры-террористы убили великого князя Сергея Александровича, Павел получил разрешение приехать на похороны брата.