Поместье и замок были запущены, денег для их восстановления не было (от деда остались одни долги), и мать Байрона вскоре сдала аббатство в аренду, а сама с сыном поселилась неподалеку от Ньюстеда, в Саутвелле.
Детство, проведенное в нищете, тяжелые столкновения с властолюбивой, ожесточившейся матерью, — все это способствовало рано пробудившемуся чувству одиночества и собственной чужеродности окружающему миру. Кроме того, Байрон с детства был калекой. Роковая оплошность акушера при родах привела к параличу сухожилия. Когда мальчик подрос, врачи назначили болезненное лечение, которое не принесло никаких результатов, оставив лишь воспоминание о пытках, вызванных ношением специального ботинка. Поэтому он не терпел танцев, но обожал верховую езду, дававшую ему обманчивое ощущение полного здоровья.
В 1801 г. Байрон поступил в Харроу, закрытую школу для детей из богатых и знатных семей, где усердно изучали латынь, греческий язык и английскую литературу. В атмосфере ханжества, угодничества и разврата, царивших в школе, Джорджу было нелегко. Старшие мальчики насмехались над его хромотой, и он чувствовал себя несчастным. Однажды он случайно услышал, как девочка, в которую он влюбился с первого взгляда, говорила своей собеседнице: «Ты думаешь, мне есть дело до какого-то хромого мальчишки?»"
"В 1803 г., во время каникул, пятнадцатилетний Байрон встретился с юной Мэри Чаворт, которая вызвала в нем большое и сильное чувство. Байрон тогда не мог предвидеть, сколь глубокой окажется его любовь. За несколько месяцев до своей смерти в одном из писем он писал: «…я в ранней юности сильно полюбил внучатую племянницу мистера Чаворта. Она была старше меня двумя годами, и мы в юности много времени проводили вместе. Она вышла замуж за человека из старинной и почтенной семьи, но брак ее оказался несчастливым, как и мой». Байрон посвятил Мэри Чаворт целый ряд стихотворений, но особенно волнующе он передал свое страдание и любовь к ней в поэме «Сон», написанной в 1816 г.
В 1805 г. Байрон поступил в кембриджский Тринити-Колледж, высшее учебное заведение тогдашней Англии. У него появились новые товарищи, некоторые из них стали его верными друзьями на всю жизнь. Байрон отдавал дань молодости, веселью, наслаждениям, карточным играм и «искусству непомерного поглощения алкоголя». Но это лишь внешняя сторона его жизни в Кембридже. Джордж продолжал свои систематические занятия спортом, начатые им в Харроу: успешно занимался плаванием, боксом, фехтованием, верховой ездой. По-прежнему много читал. Знания Байрона, почерпнутые в эти годы из множества книг, размышления над прочитанным были основой для быстрого и самостоятельного развития его личности.