横浜市港南区上永谷町は、戦国時代に後北条氏家臣・宅間伊織綱頼が知行した地である（『小田原衆所領役帳』）。

もと室町時代に当所の領主であった藤原乗国が築いた城を再造して居住したと考えられる（『新編相模国風土記稿』）。

その跡地は字「伊予殿根」を有する所で、現在の永野小学校とその背後の丘陵が候補に挙がっているが、宅地化されているため観察による判定は困難である（『日本城郭大系』）。