１４９１年に堀越御所の茶々丸を滅ぼした北条早雲はわずか１ヶ月間で伊豆半島を制圧したといわれる。当然この城も攻撃されたが、防御が堅く５年間も抵抗し続けたといわれる。奮戦虚しく落城後その時の城主・狩野道一は城から落ち、修善寺中町で力尽き自刃したという。間もなく廃城になって歴史の舞台から消えた。

本郭、中郭、東郭、西郭、南郭、出丸などが配され、西郭には大堀切があって、そこと中郭は二重堀切で防御されている。この事から現在の遺構は時代的に新しいものと古いものが混在する重層的な形態になっているようだ。また土塁もよく残っており本郭の南側には大きな土塁の上には物見曲輪も見られる（南郭の説もあり）。

周辺は切り立った地形で、相当に堅固な城であったと実感できる。国道１３６号の「柿本橋」を山沿いに走って行き、「下柿本バス停」脇に案内看板があって、そこを左に入って行くとさらに左側に登山道がある。そこから１０分ほどで本郭。