桶狭間の合戦によって今川氏が没落の道を辿ると奥山家内部で今川・徳川・武田への帰属をめぐって内訌・内部分裂が勃発し、その沿争乱の中で城は落ちたという。

武田信玄が遠江侵攻を開始した際には武田氏に属していたようで、信玄・勝頼らによって大幅に改修され、国境を守る橋頭堡とされたが、武田氏滅亡とともに廃城になったようである。