標高１４０ｍ、比高２５ｍ。

由木氏は、横山氏の庶流で源頼朝に仕えていた（『武蔵七党系図』）。戦国時代には後北条氏の幕下に入り、由木左衛門尉の名が知られている（『北条氏照印判状』）。

八王子市下柚木の永林寺が跡地とされ、「殿ヶ谷」と呼ばれ、天正年間まで使用されていた（『武蔵名勝図会』）。

一説には、滝山城主･大石定久の居館で、寺の背後の丘陵に築かれたともいう（『日本城郭大系』）。

永林寺は規模の大きい名刹であるが、裏手の丘にそれらしい遺構は見られない。