文明年間（1469-1487）に長尾景春の築城と伝わる。

その後、戦国時代黎明期には北条氏康の三男・氏邦の居城となる。氏邦はこの地方の国人・藤田氏の養子となり、その家臣団や領土を難なく手に入れ永禄三年（1560）に鉢形城に大改修を加えて移っている。その後謀略によって藤田氏を追放して、完全に乗っ取り北条氏の重要な拠点とする。北条氏の上野侵攻の前線基地となり40年間北武蔵経営の重要拠点となる。荒川沿いの断崖絶壁に建ち、反対は深沢川の淵に囲まれた天嶮の要害。

1590年豊臣秀吉の小田原城合戦の際には氏邦は3000の兵で籠城。一方の前田利家、上杉景勝、本田忠勝らの35000の軍に攻められ落城している。城址には削平地以外に何の遺構も見られないが、荒川の崖は見上げるばかりで、その堅城さを窺わせている。