標高６１２ｍ、比高１９７ｍ。村上氏の本拠・葛尾城の支城と考えられる。

葛尾城主の村上義清の支族・山田氏は平安時代末期から続く在地の豪族であったようで、立木物と言われる十一面観世音菩薩を本尊とする。古刹清源山智識寺大御堂の建立、荒砥城などの築造は山田氏ゆかりの遺構と伝えられている。

山田氏の滅亡後、荒砥城は屋代城主・屋代氏に属するものとなったが、その間、地方豪族による城番管理がなされたという。天正十年（1582）上杉方であった海津城・副将の屋代秀正は真田昌幸に勧誘されて、徳川家康へ寝返り、この荒砥城に籠城したが上杉諸将に攻められ落城した。