遺構に関しては『日本城郭大系』に「北側に総門を構え、総門外側の土塁が中世居館の遺構と推定される。外側の湿田は水堀と考えられ、土塁は角欠けの様式をよく示しており、水堀の幅員は１０ｍほどである。」とあるものの、それらの確認はできなかった。ただ、寺域の南側は秋川に深く落ち込んでいる要害地で、『日本城郭大系』でも、大石氏、さらに後北条氏の高月城や滝山城と何らかの関連をもって構えられた居館であろうと推察されている。