築城年代は不明だが、永禄十二年（1569）十二月武田信玄に攻められ落城している。

今川氏真救援の目的で駿河に侵入していた北条氏政は、幻庵の子・綱重を城主に入れていたが武田勝頼を大将とする武田軍に攻められ、勝頼自ら城壁に取り付く熾烈な攻撃によって落城した（『甲陽軍鑑』）。

信玄は自らその攻城の様子を、

「勝頼、信豊（典厩信繁の子）が先頭に立って攻め登り、北条兄弟らをことごとく討ち取り、味方には一人の死傷者もない。勝頼らは大将にも関わらず無謀にも真っ先に攻め入り、不謹慎極まりないが、何とも命知らずである。」

と評し、信玄の親としての人間味を垣間見るとともに、多少の誇張にすぎるにせよ、若き勝頼の猛将ぶりを窺う事ができる。

現在は車道がすぐ城の下まで通ってしており、観光には好都合であるが、「海道第一之険難之地」（『恵林寺文書』）といわれた面影を探る事は容易でない。しかし、郭やｈ空堀、石積みなどの遺構が見られる貴重な史跡である。