館は、東西100メートル南北100メートルで1万平方メートルの規模を持ち、井戸が2基あった。土塁は基底幅7メートル、馬踏3メートル、高さ4メートル、水濠幅7メートルで東西南北の地形によって多少異なるが上幅は2メートルである。館の大手門跡は東北付近とされているが、北東の方位は鬼門とされているので疑いの余地もある。西側の北寄りの喰違いの形状を見せるところが大手口と思われる。

館の西側には葛山氏の四天王と伝えられる重臣、半田氏荻田氏の屋敷が接続して連なっている。半田屋敷と葛山氏館との間にかつて掘が存在したのかは今では判然としないが、もし堀がそれぞれに巡っていたとするなら複濠複郭式の館となり、戦国期に発達した形態となる。