その後、延徳３年（１４９１）駿河興国寺城にいた伊勢新九郎長氏（北条早雲）が堀越御所の内部の争いにつけ込み、政知の子、茶々丸を滅ぼして伊豆の領主となり、韮山城を本格的に築城した。早雲はこの地を本拠として各地に出陣、ついに小田原城を奪い、後北条五代の礎を築いた。本拠を小田原に移した北条早雲であったが、生涯その居城を韮山と決め、永正１６年（１５１９）に８８歳で没するまで、３３年間ここに住んだ。

西方の守りとして重きをなしたが、１８年（１５９０）豊臣秀吉の小田原征伐の時には、織田信雄・細川忠興・蒲生氏郷・蜂須賀家政・福島正則ら錚々たる将軍率いる約４万４千の大軍に囲まれ、城主・北条氏規（氏政の実弟）は３千の将兵をもってよく戦ったが、衆寡敵せず開城となった。その後、徳川家康は内藤信成を城主としていたが、関ケ原後に信成が駿河に転封になると廃城。

現在の韮山高校の付近は今も御座敷と呼ばれ、早雲の居館があった場所と考えられている。