戸倉城は戦国時代北条氏綱（1486〜1541）が築いたという。主曲輪は本城山の頂上にあって、東西40m×南北30mの平場で、もとは土塁がめぐっていたという。

永禄11年（1568）から元亀2年（1571）にかけて駿河に攻め込んだ武田信玄と後北条氏は、この戸倉城で戦った。また天正8年（1580）、武田勝頼は沼津・三枚橋城に本拠を置いて戸倉城を攻撃した。後北条氏方の城将笠原新六郎はよく城を守ったが、天正9年（1581）武田方に寝返って、城も武田氏の支配するものとなった。天正10年（1582）武田氏の滅亡と共に戸倉城は再び後北条氏に属する。天正18年（1590）、豊臣秀吉の小田原城征伐が始まると、後北条氏は戸倉城を捨てて韮山城へ退き、廃城になったようである。

現地の説明看板によれば、本郭から東側に一段下がって袖郭があり空掘りで仕切られ、南側には見張り代の役目を果たした天狗岩がある。東曲輪は東方に延びる尾根上にあり、左右から切り込んだ三本の空堀によって、屈折した平場を造る。先端の南東斜面には三段の平場と、反対の北東斜面には空堀切と二段の平場と、その最下段には袖郭がある。また、主曲輪から北西に下る斜面には空堀を左右からくい込ませた小郭が連続して造られ最下段左手より狩野川へ向かって空堀があった。大手道登り口は龍泉寺山門左手にあって、数段の平場を経て右に曲がり主曲輪に至るが、その中ほど左右に空堀と土橋がある。西曲輪には本城山西端下で空堀切によって区切られる。それにより左右に九本の竪空堀と陵部に小郭が八幡神社裏まで連続している。八幡神社西側の県道を越えて摩利支天郭があり、ここから烏帽子岳太鼓櫓まで、空堀切と平場がある。外原出口にも小郭があった。城主の居館は龍泉寺内であった、という。