天文十九年(１５５０)の武田氏侵攻の際は、林大城の小笠原長時にそむき武田氏に降った。武田氏は小宮山氏を城代に置いてこの地を守らせた。東麓に館趾をもち、付近にある稲倉城、早落城、茶臼山城、横入城等の諸城砦とともに一連の構えであっという。大口沢口から安曇方面への口、苅谷原、稲倉峠による会田、上田方面の峠口、三才山谷から三才山峠を越えて上田方面へ、また府中北方の鎮城として重要な位置にあった。

城址は標高９１１mで苅谷原峠、稲倉峠つづきの山地の突端にあり、頂上部に石積みで囲まれた主郭を置き、二の郭、三の郭などが残る。特に主郭の尾根側、搦め手口の堀切は大規模なもので、さらに二重の堀切となっており、こちらの防御に気を遣っていたことが窺われる。岡田伊深の城山頂上で、若宮八幡宮から登山道が間断なく走っている。