霊山には、慈覚大師が開山した霊山寺が山頂にあり、南奥州の信仰の中心地としたと考えられています。
南北朝時代、北畠顕家が義良親王を奉じて霊山に立てこもった際、山頂に砦が築かれました。南北朝の合戦は霊山城や藤田城など伊達郡内でも行われ、霊山城は貞和3年（1347年）8月ごろ落城、霊山寺も全焼したといわれています。
◎北畠顕家(1318-38)親房の長男。建武中興後、義良親王（後村上天皇）を擁し多賀国府に下る。鎮守府将軍として足利尊氏蜂起後は奥羽宮方の柱石となる。のち拠地を霊山城（福島県）に移すが、暦応元年、和
