玉川城とも。標高137ｍ、比高71ｍの本格的な山城。元亀・天正年間（1570〜1592）に遠山光景によって築城されたとの伝承がある。『新編武蔵国風土記稿』は、この城を遠山右衛門大夫光景の居城と云い、また遠山地区にある遠山寺には光景の位牌があることから、そこには根小屋や居館があったと考えてよいかと思われる。同じように小倉山山麓の延命山大福寺には光景の夫人の位牌が残されている。

遠山氏の初代・直親は兄である康景が永禄七年（1564）正月、北条氏康と里見義弘が戦った鴻台の合戦で討ち死にしたために跡を継いで江戸城城主になり、小倉城はその子・光景に譲ったといわれる。その後も遠山氏は後北条氏に従属したが、小田原城の役で豊臣秀吉軍によってこの地域の中心的な城郭であった松山城が落城すると、同時に廃城に帰したようである。

本郭、二の郭、出郭など計１６の削平地があり、土塁とともに関東には珍しい石積みの補強も見られる。