城址地には土塁が残っているらしく、いくつかの曲輪や堀が配備しれている。いずれも南側に配され、北側は断崖絶壁の地形になっているが、それに甘んじて防御設備が薄い。伊勢新九郎長氏（北条早雲）はこれを利用して急坂をよじ登って北側から攻め落としたという。それにちなんで北側の谷は「新九郎谷」と呼ばれている。

もともと狩野氏の狩野城の出城であったが、早雲が堀越御所に足利茶々丸を攻め滅ぼし、伊豆制圧を果たすと後北条氏の韮山城の出城として重要な役割を担ったようである。