井上氏の祖は清和源氏源頼信の第三子頼季で、京に官仕していた。その子満実に至って11世紀後半、信濃高井郡に入国。信濃に最も早く入ったので、井上氏は信濃源氏の祖とされる。

以来、高井郡南半にかけて15の氏族を分出し、保科・米持・村上・高梨・須田がその主なものである。館跡は全面に井上大城・井上小城を、東方に竹の城を配し、西北方に展開する所領の水田地帯を掌握する位置にある。約100m四方の回字形を成し、四周に水堀を巡らしており、裏鬼門の西南の角を欠く入角になっていたと云う。