『甲斐国志』では関東三大名城のひとつとしている。約800年前からの小山田氏の居城。断崖の西側に登山道があり、巨石を利用した門址、大手門があり、その上には番所があって、ここから甲州街道を往来する者を監視する物見台があった。山頂には蔵址、馬洗い場址、狼煙台址などある。

信玄が佐久地方に侵攻し、志賀城の笠原清繁を滅ぼしたのち、その夫人を岩殿山城山麓の駒橋の館に連れて来て側室にしたという。

歴代城主の小山田氏は甲斐武田氏を支える有力な国衆であった。滅亡間際に新府城を棄て、一路岩殿山城を目指して落ち行く武田勝頼であったが、その城主・小山田信茂の裏切りにあい天目山・田野において自刃し、武田氏は滅亡した。

信茂は織田氏に降伏するも甲府善光寺にて殺害される。しかし戦乱を逃れた大月の領民からは信茂への敬服の声が高かったという。現在も大月市に屹立するその山並みはまさに荘厳であり、登山の厳しさは比類ないが、この堅固さは日本有数とも思われるほどの山城である。