築城時期は不明だが天文年間の初期ともいわれる。

1555年の川中島の第二回目の戦いでは上杉謙信が善光寺脇にある横山城に陣を張り、信玄とよしみを通じていた善光寺別当職の栗田鶴寿は旭山城に籠もって武田軍に加味し、信玄はそこに3000の兵や300の銃を送り込んで支援した。そこで謙信は付け城である葛山城とこの大峰城を改修したという。葛山城主である落合備中守の家臣大峰蔵人が城主になったともいわれる。

川中島・善光寺一帯が武田氏の手中に納まると、この大峰城もその支配下になったらしい。