该校前身是庐江县私立四维初级中学，它于民国30年在柯坦甘泉寺创办。民国35年春迁至县城东门外法轮寺。建国后，转为公办，改名为庐江县新民初级中学。1950年，有学生426名，教职工46名（教师29名）。1952年，迁至矾山卢氏宗祠，改名为庐江初级中学。1955年，改为庐江第一初级中学。1959年，增设高中班，改为庐江矾山中学。1969年，学校教职工一分为三，除本校保留部分教职工外，其余教职工则被分配到裴岗中学和砖桥中学。财产一分为五，由矾山、裴岗、砖桥、黄屯、杨柳5所中学平分。1978年后，经费不断增加，逐步扩充班级，增添教学设备。1985年，初、高中12个班，计有学生676名，教职工68名（教师49名）。校内有图书室（图书8000余册）、实验室和仪器室（仪器价值3万余元），并有农场（15亩）和林场（10亩）。