奥牧野の南部、秋山川が山梨県との境でS字型に蛇行する小平地は「城山」と呼ばれ、二段の平坦地から成り、上段は１２０ｍ×４０ｍ、下段は５０ｍ×３５ｍほどで、戦前までは高さ１ｍ、幅２ｍほどの土塁が南北に走っていたという（『日本城郭大系』）。

戦国時代に甲斐・相模の兵が合戦をした場所で、戦死者の塚が作られ、かつて鎖帷子などが出土したという（『甲斐國志』）。

奥牧野は、甲州から相州に至るいくつかの道筋のうち、秋山川の入口にあたり、さらに甲斐と津久井を結ぶ青根街道が通じている。このことから、後北条氏時代に甲斐国への出入り口を押さえるために築かれた城であると思われる（『日本城郭大系』）。

城址は、後年の改変があって、明確な遺構は見られない。ただ、いくつかの郭が連なり、駐屯地に向き、周囲は断崖と川に囲まれた要害の地形を有している。まさに神奈川・山梨の県境で、脇を通る「四日市場上野原線」を進めば武田信玄重臣・小山田信茂の本拠であった都留市に直結する重要な位置取りである。