天明十八年（1486）七月、室町時代の東国随一の弓取り・太田道灌は、当館の風呂場で、主君・上杉定正の放った刺客・曽我兵庫に斬られ、「当方滅亡」と絶句して、５５年を一期として果てた。

上杉定正は、扇谷上杉氏の当主で、太田道灌の働きによって大勢力となったものである。しかし、敵方・山内顕定の謀略にかかり、江戸城にあった道灌を糟屋に呼び寄せて暗殺した。道灌の「当方滅亡」絶句は的中し、その後、扇谷上杉氏は北条早雲によって追われ、糟屋館も廃城となる。

館跡は、伊勢原の西北、山王原一帯と伝わる。洞昌院は扇谷家の持仏堂といわれ、その傍らの道灌が荼毘にふされた場所には道灌墓がある。墓所の北にある上糟屋神社は上杉氏の守護神を祀り（『神奈川の城』）、その北側には「空堀」と伝承される谷もみられる。神社近くには「七人塚」と呼ばれ、道灌が暗殺された時に、勇猛に奮戦した道灌家臣を弔う塚がある。館跡の正確な場所は不明だが、一説に、この「空堀」の北側、産能大学付近の台地でないかとされている。大学建設時に、周辺から室町時代のものと思われる建築物の痕跡と空壕、土塁痕らしき地形が発掘されたという（『日本城郭大系』）。