После нескольких неудачных попыток Иосип поступил на работу механиком и, видимо, именно тогда стал членом коммунистической партии. Деятельность компартии в Югославии с 1921 г. была нелегальной, и высокая политическая активность молодого рабочего была по достоинству оценена властями: в конце концов он был арестован.
С ноября 1928 г. по март 1934 г. Тито находился в тюрьме, расположенной в бывшем паулинском монастыре Белых братьев около Загреба, куда он был помещен по приговору суда за «хранение бомб и нелегальной коммунистической литературы». В это время его жена Пелагея вернулась домой в Россию, где полюбила другого мужчину, а сына Жарко бросила, оставив скитаться по детским домам (позже отец разыскал мальчика и забрал к себе). Неверность жены глубоко задела Тито, но в те дни партия косо смотрела на подобные проявления «буржуазных чувств», поэтому свой брак они расторгли по взаимному согласию в Москве в 1936 г.
В 1938 г. Пелагея Белоусова была арестована органами НКВД. К тому времени она вторично вышла замуж. Через два года ее освободили. В 1948 г. после конфликта Сталина и Тито она была снова репрессирована как бывшая жена Генерального секретаря ЦК КПЮ и приговорена к 10 годам тюремного заключения. Реабилитировали ее в 1957 г. Только в 1966 г. советские власти разрешили Жарко приехать в Москву и увидеть мать. По такому случаю ей даже дали двухкомнатную квартиру в доме № 30 по Староконюшенному переулку. В апреле 1968 г. Пелагея Денисовна умерла от сердечного приступа. Тито поручил югославскому послу в Советском Союзе возложить венок на могилу бывшей супруги от его президентского имени. По утверждению людей, близко знавших вождя, он неохотно вспоминал о своем первом браке.
В марте 1934 г. Иосип вышел на свободу. В Югославии назревали перемены, но он покинул страну и направился в Москву для работы в Исполкоме Коминтерна. В это время он второй раз женился. Его женой стала Люция Боуэр (Иоганна Кениг), немка по национальности, которая осенью 1937 г. по приказу Сталина была арестована «за сотрудничество с гестапо» и сгинула в застенках НКВД. Убедившись в деловых качествах Тито и его верности делу мировой революции, Сталин назначил его на должность Генерального секретаря ЦК Коммунистической партии Югославии и отправил на родину.
Выполняя поручения московского руководства, перед началом Второй мировой войны Тито познакомился с двумя девушками, которых позднее называл своими «гражданскими женами».
Первой «женой» стала красивая замужняя студентка Терта Хас Мацика — словенка австрийского происхождения, которая была на 22 года моложе Иосипа. Член компартии с 1936 г., она была курьером Политбюро ЦК КПЮ, а затем стала личным секретарем генсека. В начале 1941 г. у Терты Хас и Тито родился сын Александр-Мишо.