Все это приобретало особую важность, так как одна из причин, побудившая Сталина перевести СМЕРШ под свой личный контроль, заключалась в том, что он хотел исключить любое вмешательство бериевского НКВД в вопросы служебных передвижений в армии. Сталин приказал Абакумову немедленно арестовать Теплинского. Даже в годы войны Сталин по-прежнему стремился во что бы то ни стало лично контролировать работу возглавлявшихся им ведомств. В данном же случае речь шла об особо важном ведомстве — Наркомате обороны.
На допросе, проводившемся с пристрастием (Абакумов выбил ему два передних зуба в первую же ночь), Теплинский признался, что Ильин советовал ему, как лучше себя вести, чтобы не дать оснований для обвинения в симпатиях к врагам народа. Кроме того, он также признал, что делился с Ильиным своими симпатиями к ряду высших офицеров, подвергшихся арестам в 1938 году. Неделю спустя Абакумов доложил о признаниях арестованного лично Сталину и получил от него санкцию на арест Ильина.
Явившись к Меркулову на Лубянку, Абакумов потребовал, чтобы вызвали Ильина: напомню, речь шла о руководящем работнике наркомата, комиссаре госбезопасности. И вот этого человека разоружают и сажают во внутреннюю тюрьму Лубянки. Хотя тюрьма и принадлежала НКВД, чекисты были лишены права допрашивать Ильина, поскольку он находился в ведении СМЕРШ. На следующий день Абакумов устроил очную ставку Теплинского с Ильиным. Теплинский, избитый накануне, повторил свои «признания»; Ильин, возмутившись, влепил ему пощечину, назвав его бабой.
Не найдя свидетелей для подтверждения показаний Теплинского, Абакумов оказался в сложном положении: ведь необходимо было заручиться показаниями двух свидетелей. Поскольку никто из окружения Теплинского в военных верхах даже не знал о существовании Ильина и не мог дать показания против него, найти второго свидетеля для обвинения представлялось проблематичным, а без этого нельзя было передавать дело для слушания в Военную коллегию. Ильина избивали, лишали сна, однако он не только отказывался признать себя виновным, но даже не подписывал протоколы допросов. Для оформления дела их необходимо было предъявить Сталину, чтобы он решил дальнейшую судьбу подследственного, и Абакумов боялся предстать перед Сталиным без убедительного обвинительного заключения. Хотя Абакумов не смог доказать вину Ильина, тот по-прежнему оставался в тюрьме.
На допросы Ильина вызывали в течение четырех лет с 1943 по 1947 год. Его держали в одиночной камере и периодически избивали, чтобы получить признания.