城主は伊豆木氏と思われ、信濃国守護の小笠原氏に従って活躍した一族。武田氏時代のことは不明であるが天正十年（1582）に織田信長の信濃侵攻に際して伊豆木家は失家になっており、この時廃城になったとされる。その後の慶長年間には小笠原長巨がこの地に知行を与えられ、現在保存されている居館と城としての縄張りを施した。