「高天神を制する者は遠州を制する」といわれた名城。実際、周囲を断崖に囲まれ現在訪れても頷ける要害ぶりである。武田信玄に追われた今川氏真は徳川方に城を譲り小笠原長忠が入城。そこで信玄は内藤昌豊に高天神城を攻めされた。しかし守りが堅く、落城をみることはなかった。

武田信玄没後、武田勝頼が再び攻撃、約１ヶ月の攻防の末に見事攻め落とす事ができた。以後武田家の遠州の重要な拠点であったが、長篠・設楽ヶ原の戦いで勢いついた家康は周囲の多数のつけ城を築いて兵糧攻めを実施した。1581年には総攻撃が開始され落城している。

周囲には畑が多く、開発の手に犯されておらず、戦国の風景を浮かべる事が可能だ