神奈川県伊勢原市下糟屋の「高部屋神社」は、糟屋城の跡地とされている。

城主の糟屋氏は、藤原冬嗣の五世の孫で、藤原如丘から出ている。その子・元方はこの地に土着して城郭を築き、糟屋太郎を名乗った。その後、糟屋氏は鎌倉幕府の御家人になるほどの成長をみせる。糟屋氏は、建仁三年（1203）比企の乱によって没落するが、同氏のその後の動向は明らかでない。戦国時代には糟屋藤十郎という人物が後北条氏に馬廻りとして仕えている（『小田原旧記』）。

また、糟屋城がどうなったかも不明だが、荒廃していた高部屋神社を天文二十年（1551）地頭・渡辺石見守某が再興している。遺構によれば、戦国時代にも城塞として使用された可能性があるという（『神奈川の城』）。

今日、城址は国道２４６号で分断されているが、高部屋神社の脇と西側には空堀が残り、一部には土塁の跡も見られるという（『神奈川の城』）。また、城址の南側、南蓮寺の対岸には、太田道灌の首塚とされる史跡もある。