現在の社殿は、徳川家光が三代将軍に決定したとき、守役の青山忠俊が家光の乳母春日局とともに、慶長十七年（１６１２）に造営を開始したもので、その後様式をとどめている貴重な建物だという。門は明和六年（１７６９）と享和元年（１８０１）に造られたとする２説があり、江戸中期の建立には違いないが、その後何度かの修理を経て今日に及んでいる。

このあたり一帯の高台は、平安時代末期から渋谷氏一族の居城跡で、東に鎌倉道、西に渋谷川が流れ、北東には低い谷地形（黒鍬谷）があって、居城を囲んでいるうえに、かつては数ヶ所に涌泉があるという好条件を備えていた。しかし、その城は大永四年（１５２４）、後北条氏と上杉氏の合戦のとき、後北条氏の一軍に焼き払われ廃城になったといわれる。金王八幡の西側は「堀の内」と呼ばれ、、今の渋谷警察署付近が堀の跡であろうと推察されている（『現地案内板』『日本城郭大系』等）。

江戸時代には未だ馬場や的場、築地の跡が残っていたというが、現在では何らのよすがも伺えない。しかし、JR渋谷駅から徒歩５分ほどで城址が存在していることに歴史の面白さを感じる。