於曽氏は、平安中期にはじまり、鎌倉時代甲斐源氏加賀美遠光の子、四郎光経がこの屋敷を構えた。その後子孫が於曽氏を継承し、室町時代に繁栄を極め、戦国時代になると同族の板垣氏が継承し「於曽殿」といわれ活躍した。於曽氏は武田家滅亡後の徳川氏甲斐統治時に名を廣瀬に改め、現在までこの地に居を構えている。戦国当時はこの屋敷の周囲に金山を管理する金山衆が多く館を持っていたといわれ、於曽氏館は金山関係者邸宅でないかともいわれる。

屋敷址の半分が市に寄進され、於曽公園としてＪＲ塩山駅近くに公開されている。遺構は土塁がよく残っており、規模の雄大さを示している。