1404年に今川範政が築いた館が起源とされ、のちに徳川家康が居城しとして改修、築城した。

家康は少年時代に今川氏の人質としてこの城内で苦難の日々を送った。ただ現在では家康は重臣として優遇され、今川義元に寵愛されてという説もある。
武田信玄は1568年にこの城を攻めている。薩た峠の合戦に勝利した信玄は今川氏真を追って駿府の町へ馬場信房、山縣昌景を先頭に殺到した。この頃の駿府城はほとんど防御としての機能を有しておらず、一日のもたず氏真は逃亡し落城した。今川氏は京都とつながりがあり、相当に京風の文化、慣習が取り入れられていた。信玄は事前に「今川家の財宝を焼かないように」と指示したが、名将・馬場美濃守信房は「武田家は今川の財宝が目当てで駿府を攻めたと思われては名折れである」と言い、城を焼いてしまった。

この今川館の場所は分明ではないが、現在の駿府城内である事は間違いないようである。その後大阪の陣の際は家康の隠居城として総司令部の役割を担った。現在その姿は近世城郭の面持ちであり、城内は市民の憩いの場と化し、戦国動乱往時のよすがはほとんど感じられない。