城主天方山城守通興（所号天方四郎三郎）の代になり世は戦国乱世を迎えた。それまで駿河遠江を支配していた今川氏が義元の死後傾斜化、これをみた三河の徳川家康の遠州侵攻の口火が切られたのは永禄11年、家康は遠江に入ると諸城を次々に攻略し、一方甲斐の武田信玄も駿河を手に入れて、着々と西進してきた。

天方城主天方山城守通興は今川方の勇将と知られ、家康が浜松に入城してからも徳川に従う気もなく家康に敵対していたため、永禄12年（1569）6月19日家康は「遠州に居ながら徳川に降伏せざれば」と先陣榊原小平太康政天野三郎兵衛康景、大久保新十郎忠□をして天方城攻略のための進撃部門を打ち破り、二の丸に押し入り激しい攻防戦が繰り広げられた。山城守もよく防戦したがついに力つきて降伏。
　翌、元亀元年（1570）10月には御下知（命令）に従わず軍兵を集めて立て篭もったため、再び大須賀康高、榊原小平太康政を先登して外曲輪を攻め破る。山城守防ぐことかなわず降伏し徳川の支配下に入った。
　それから3年後の元亀3年（1572）9月下旬、武田信玄は四万余の大軍を率いて犬居城主、天野宮内右衛エ門景貫の案内で多々羅、飯田の2城を攻略し天方城に迫った。
　天方山城守は風林火山の軍旗をなびかせて進撃してくる武田勢に恐れをなし戦わずして降伏してしまった。そこで信玄は久野弾正忠宗を残して山城守とともに天方城を守らせた。翌、天正元年（1573）3月家康は「信玄へ降伏し間導（先達）となりし徒（なかま）を捨て置くべきにあらず」と平岩七之助吉を将として、天方城攻略を決行した。先にこの城に武田の臣久野弾正は、城兵を指揮して大手の門を切って出て戦い、寄せ手の大久保新十郎忠隣、渡辺半十郎政綱、渡辺半蔵守綱らは烈しく攻め、ついに外郭を攻破り本丸を攻め込むこと三日、城主山城守久野弾正、必死に防戦したが遂に力つきて再び降伏し弾正は甲斐へ逃げ帰ってしまった。

『遠江国風土記』には、のちにまた甲州の持城となったが、天正2年（1574）3月、家康は遠州の軍兵を引率し、天方城を責め三日のうちに攻落、この城に軍兵をおくとある。その後通興の子・通綱は家康の長男・信康の謀反疑惑によって二俣城にて自刃したが、その時介錯役を務めている。