Через четыре года на него махнули рукой, но еще целых пять лет он оставался в тюрьме, где в разное время его сокамерниками были министр авиационной промышленности Шахурин, маршал авиации Новиков и министр иностранных дел Румынии. Ильин никому не говорил, что он офицер-чекист. По его версии он работал в техническом отделе киностудии документальных фильмов. Понимая, что является жертвой борьбы за власть, Ильин дал себе слово ни в чем не признаваться и лучше умереть, чем запятнать свою честь. Ему удавалось даже сохранять чувство юмора. Однажды он спросил у своего следователя, проводившего допрос:
— А что означает орденская ленточка у вас на груди? Офицер ответил, что это орден Ленина. Ильин заметил:
— Вот какая мне оказана честь — дело поручено человеку, награжденному орденом Ленина. Значит, мое дело очень важное!
В июле 1951 года Ильин был переведен в Матросскую Тишину и помещен в специальный блок тюрьмы ЦК партии. Находившимися там подследственными занимался Комитет партийного контроля, который расследовал дела членов ЦК и офицеров госбезопасности. Начальник тюрьмы предупредил его о серьезных последствиях, если он не признает свою вину перед партией. Новым следователем, появившимся на очередном допросе в форме генерал-майора юстиции, был заместитель военного прокурора Советского Союза Китаев. К безмерному удивлению Ильина, Китаев потребовал от него показаний о предательской деятельности Абакумова, в ответ Ильин попросил представить доказательства, что это не провокация. Охранник вывел его в коридор и подтолкнул к глазку камеры, где сидел заклятый враг Ильина Абакумов.
Тем не менее Ильин отказался свидетельствовать против Абакумова, дальновидно рассудив, что Абакумов в свое время обо всем докладывал Сталину и если он, Ильин, сейчас расскажет о сфабрикованных Абакумовым делах, то его могут обвинить в содействии этим преступлениям. Ильин дал показания, что в своей работе после 1933 года не имел с Абакумовым никаких контактов, лишь изредка встречал его на Лубянке, а также во время инспекционной поездки в Ростов в 1938 году. Китаев был неудовлетворен его заявлением и перевел Ильина обратно на Лубянку, где допросы тут же возобновились. Однако их тон сделался совершенно иным. Теперь его обвиняли в том, что он неправильно понимал свой служебный долг, поддерживая контакты и дружеские отношения с подозрительными людьми. Через полгода начальник Комендатуры Министерства госбезопасности (МГБ) генерал-майор Блохин объявил ему: за служебные упущения Особое совещание приговаривает Ильина к девяти годам тюремного заключения.
Срок заключения истек — Ильин отсидел девять лет. Перед освобождением ему предложили пройти в кабинет для оформления необходимых документов.