１４５７年に室町幕府が将軍義政の弟・政知を鎌倉に下向させ、関東鎮圧を企てたが、動乱激しく政知は箱根を越えられず、足利一門であり軍事力も期待できる今川氏の影響力が及ぶここ堀越に居館を定めた。

１４９１年に北条政知が歿すると子の茶々丸が跡を継いだが、後妻の子との世継ぎ問題で内輪もめが予てから火種としてあって、結果、彼は継母や義弟、老臣を殺害するなどして伊豆に混乱を巻き起こし、それに乗じた北条早雲に攻め滅ぼされる。その時の戦火に消え３３年の歴史を終えた。

２０回にも及ぶ発掘がされ、池や庭園の址、大量のからわけや輸入磁器、中国製の焼き物などが出土している。