平安時代の末、南信濃源氏片桐氏は片桐郷の南に続く大島郷に分知した。片桐兵庫助為行の八男片桐八郎宗綱を名乗ったのが大島氏のはじめ。大島氏は鎌倉幕府に仕え、以後中世を通じてこの一帯を領有・統治し、大島城・北の城・沼の城などを築いた。

南信濃攻略を窺っていた甲斐の武田氏は天文二十三年（1554）一挙に伊那郡に侵入し、ここを手中にした晴信（信玄）は秋山信友を飯田城におき伊那谷を統治した。元亀二年（1571）、武田氏は大島城を東海地方攻略、ならびに京へ上るための拠点とするため、伊那郡代秋山信友に命じて大島城の大改修を行う。この時、下伊那19の郷民と2衆を城普請の人足として強制的に動員した事を記す武田氏の朱印状が残っている。

現在の大島城はこの時に構築されたもので、武田流築城法による馬出や三日月堀、三つの曲輪とそれを取り巻く迷路のような空堀が当時のまま残されている。

信玄亡き後の勝頼の代、天正十年（1582）織田氏が伊那郡に侵入したとき大島城は信玄の弟信廉が守っていたが、信廉ら有力な武将は織田氏の進撃に驚き、夜中に逃亡したことが『信長記』に記されてる。城内からは建物の礎石や雨落溝の石列、陶磁器や古銭、焼米等が発見され、井戸跡には落城の際お姫様が金の鶏を抱いて身を投げたという悲しい伝説も伝えられている。