戦国時代の天文二十二年（1553）、武田信玄に攻められて城を捨て、信玄の配下に加わるものの、武田氏滅亡後、松本へ帰領した小笠原氏と対立関係に陥り、天正十一年（1583）に、松本城で誘殺されて滅亡した。この時に居館と塔ノ原城も廃されたといわれている。