Trường cấp III Phục Lễ được thành lập tháng 9 năm 1973 trên cơ sở là phân hiệu của trường cấp III Thủy Sơn (nay là trường THPT Lý Thường Kiệt). Đến năm 1983 trường đổi tên thành trường THPT Phạm Ngũ Lão.

Những năm đầu tiên, trường đặt tại thôn Sỏ xã Phục Lễ. Lớp học là các kho của hợp tác xã với diện tích gần 3000m2. Các thầy cô giáo phải ở nhờ trong nhà dân để thuận tiện cho việc giảng dạy.

Đến tháng 4 năm 1975, được sự đồng ý của UBND thành phố, Sở Giáo dục, UBND huyện, trường chuyển về thôn Trung Sơn xã Ngũ lão và là trung tâm của 9 xã trong khu vực. Trường gồm 3 dãy nhà tranh hẹp của công ty công trình thủy để lại sau khi đã chuyển về nội thành.