城址は細長い尾根を巧みに利用し、四津山神社の建つ本郭と、北に連なる３個の郭によって構成され、それぞれの郭は土塁と堀切によって画している。築城年代や城主などの情報は少ないが、『青木家譜』は治承四年（1180）、青山城主・青山氏久の家臣である石井政綱が居住したといい、『新編武蔵国風土記稿』では、長亨元年（1487）に歿した増田重富の居城とする。

また、長亨二年（1477）及び延徳三年（1491）の二度に亘って、城の北東の高見ヶ原において山内上杉氏と扇谷上杉氏が合戦を繰り広げ、その際にこの城も使用されたといわれる（『小川町教育会資料』）。その後も松山城と鉢形城とをつなぐ軍事上の重要拠点の一つとして活用され続けたと考えるのが自然だろう。

遺構は中世的な荒々しい縄張りであるが、よく保存されている。城址へは県道296号沿いに案内板がある。そのまま四津山神社を目指し、車道の終点から徒歩１０分弱の登山を要する。