松山城城主上田氏の家老で腰越城、青鳥城城主・山田伊賀守の居館。

宇治川の先陣に敗れた山田清義は、治承四年（1180）、ここ安戸に一時的に蟄居すべく退いて、居城として腰越城を築くとともに、山麓に居住したといわれる。その後、代々の山田氏の居館となる。なお、安戸集落北側には安戸城という山城がある。この城の歴史は分明ではなく、一応上田氏の築城とされているが、その立地的には山田氏が秩父、鉢形方面を固めるために用いた城とするのが自然だろう。

戦国期の山田家の当主は北条氏直に仕えた直義であり、その嫡男である伊賀守直定が家督を継承。しかし彼が、永禄五年(1562)に上杉謙信第1次関東出兵の際に太田資正軍勢と寄居の赤浜で合戦を繰り広げて討死すると、次男である伊賀守直安が相続している。直安は後北条氏滅亡後は徳川家康の旗本に取り立てられて300石を賜り、慶長五年（1600）二月に歿したとされる（『寛政重修諸家譜』）