その起源はハッキリしないようであるが、都留郡を支配していた小山田氏の築城とするのが自然であろう。もともと小山田氏は近く中津森館に拠点を構えていたが、そこが１５３０年に失火すると谷村に居館を移して郡内経営にあたっている。

豊臣・徳川時代には城域は都留市役所から高尾公園にかけての範囲に広がっていた様で、谷村第一小学校敷地を中心にして、東北に向って小学校の下が二の丸、高尾公園のところが三の丸である連郭式城郭であったという。さらに出丸を配し、背後に桂川を天然の堀とした平城で、桂川には木橋を架けて詰めの城である勝山城を擁していた。

豊臣秀吉時代に谷村城と勝山城が築かれたと一般にいわれるが、その以前の武田・小山田時代に同様のふたつの連携城郭の基礎が存在していたものと思われる。