現在の相模原市矢部はかつて矢部氏が支配していた土地と伝えられ、その居館の遺構と思われる土塁が残っている。

矢部氏は、鎌倉時代の武蔵七党の一つ横山党の一流で、当主は矢部義兼だったという。義兼は建暦三年（1213年）五月の和田合戦に参加し、他の横山党の一族とともに討死した。しかし矢部氏は滅亡しなかったようで、応永二十三年（１４１６）の上杉禅秀の乱でも矢部伊代守・三郎という武士が参戦している（『日本城郭大系』）。