С восшествием же на престол благочестивого царя Иосия (Иошияу) в 662 г. до н. э. были ликвидированы все языческие культы, разрушены алтари в культовых центрах северных колен, и Иерусалимский храм был окончательно превращен в национально-религиозный центр.
В 598 г. до н. э., при царе Иехонии Навуходоносор захватил Иерусалим и «вывез все сокровища дома Господня… и изломал… все золотые сосуды, которые Соломон, царь Израилев, сделал в храме Господнем».
После того как Седекия (Цедкияу) объявил отделение Иудеи от Вавилона, вавилоняне под предводительством Навузардана в 586 г. до н. э. захватили Иерусалим вновь и на этот раз полностью разрушили Храм Соломона до самого основания. Большинство жителей Иерусалима были убиты, оставшиеся взяты в плен и угнаны в рабство в Вавилонию. Ковчег Завета был при этом утерян.
В 538 г. до н. э., после завоевания Вавилонии, персидский царь Кир Великий издал декрет, разрешавший изгнанникам возвратиться в Иудею и восстановить Иерусалимский храм, разрушенный вавилонским царем
Навуходоносором. Вероятно, Киром руководило при этом политическое соображение, что на границе Египта стоит иметь расположенный к персам народ.
Вскоре, однако, возникли распри между иудеями и самаритянами, которым не было позволено принять участие в строительстве, и они стали всячески препятствовать восстановлению Иерусалимского храма. В результате строительство Храма было прервано на 15 лет. Только во втором году царствования Дария I Гистаспа (520 г. до н. э.), под влиянием речей пророков Аггея (Хаггая) и Захарии, строительство храма возобновилось. Дарий лично подтвердил декрет Кира и санкционировал продолжение работ. Как и раньше, расходы на строительство, как и на регулярные жертвоприношения за благополучие царя и его близких, покрывались из царской казны, а препятствующие восстановлению храма должны были караться смертью.
Около 333 г. до н. э. Иерусалим и вся Иудея без сопротивления покоряются Александру Македонскому, который подтверждает привилегии, данные городу персидскими правителями. Вскоре во время войн диадохов после смерти Александра Иерусалим был захвачен и частично разрушен правителем Египта Птолемеем I Сотером, установившим контроль над Иудеей.
Антиох IV Эпифан в 169 г. до н. э. на обратном пути из Египта вторгся в Иерусалиме на территорию храма и конфисковал драгоценные храмовые сосуды. Два года спустя он осквернил его, поставив на жертвенник всесожжения небольшой алтарь Зевса Олимпийского. Храмовая служба была прервана на три года и возобновлена после захвата Иерусалима Иудой (Иехудой) Маккавеем (164 г. до н. э.) во время восстания Маккавеев (167–163 гг. до н. э.). Греческие завоеватели были изгнаны из страны. Воцарилась династия Хасмонеев.