Его убрали из Комитета информации во время антисемитской кампании, начавшейся в стране, позволив, правда, выйти в 1948 году на пенсию в звании полковника по выслуге лет.
Мое служебное положение было определено лишь осенью 1946 года, когда решением ЦК и правительства была создана спецслужба разведки и диверсий при министре госбезопасности СССР (с 1950 года она называлась Бюро МГБ № 1 по диверсионной работе за границей), и я был назначен начальником, а Эйтингон моим заместителем. Моя задача заключалась в том, чтобы организовать самостоятельную службу, которая могла бы в случае войны быть преобразована в самые сжатые сроки в орган, направляющий боевую работу. Речь шла также о действиях на случай возникновения очагов напряженности внутри Советского Союза, которые могли перерасти в вооруженные конфликты в связи с разгулом бандитизма в Прибалтике и Западной Украине.
Я сохранил свое положение как начальник самостоятельного подразделения в системе Министерства госбезопасности. Абакумов проявил достаточно такта, чтобы не лишать меня тех привилегий, которые я получал в годы войны: мне сохранили государственную дачу, меня продолжали включать в список лиц, получавших сверх служебного оклада ежемесячное денежное вознаграждение, а также имевших право на спецобслуживание и питание в кремлевской столовой. Мое положение изменилось лишь в одном отношении: меня больше не приглашали на регулярные совещания начальников управлений под председательством министра, как это было в годы войны. Интересно, что коллегия в МГБ при Сталине так и не была создана. С Абакумовым мы практически не общались, пока в один прекрасный день я неожиданно не услышал по телефону требовательный и уверенный, как обычно, голос Абакумова.
– До меня дошли слухи, что ваши сыновья планируют покушение на товарища Сталина.
– Что вы имеете в виду?
– То, что сказал, – ответил Абакумов.
– А вы знаете, сколько им лет? – спросил я.
– Какая разница, – ответил министр.
– Товарищ министр, я не знаю, кто вам об этом доложил, но подобные обвинения просто невероятны. Ведь моему младшему сыну – пять лет, а старшему – восемь."
"Абакумов бросил трубку. И в течение года я не слышал от него ни одного слова на темы, не касавшиеся работы. Он ни разу не встретился со мной, хотя я и находился в его непосредственном подчинении. Все вопросы решались только по телефону.
В конце 1946 – начале 1947 года продолжалась серьезная реорганизация управления разведкой: в июле 1946 года было ликвидировано 4-е управление; в конце 1946 – начале 1947 года разведывательное управление МГБ передали в Комитет информации, созданный лишь в марте 1947 года, – полгода шел «раздел агентурного аппарата».