今川氏没落後の永禄１１（１５６８）年、武田信玄が遠江をおさえる第一歩として砦を改修した。武田軍は大井川を越え小山城に入った。一方、徳川家康は松平左近真乗に小山周辺に知行地を与え、攻防の結果、元亀元年(1570)、小山城は松平氏の領有するところとなった。１５７２年、武田軍は二万五千の兵で攻め寄せ、小山城は再度武田方が奪還することとなる。

これ以後砦から本格的な城郭として馬場信房が改修している。その後信玄が死し、長篠で勝頼が敗北すると、高天神城の落城とともに、ここ小山城も自落する。敗北を悟った武田方は自ら城に火をかけ、甲州へ落ちていったという。 現在、三重堀などの遺跡や「展望台小山城」内の武田氏ゆかりの品々が、当時の面影を偲ばせる。