伊藤坂上の小砦は、上角部落の地字「城の上砦」とともに於田屋城の東方に備えたもので、伊藤坂の谷の南方、段丘上の一角を利用して構築されていた。伊藤坂という名のゆかりはこの地に伊藤三太夫という人物の屋敷があったからだという。

ここの主である西牧氏は南安曇郡南部地方の豪族で、鎌倉時代に入る前後に中村居館から於田屋城に移り住み、４００数年間に亘って威勢を誇った。周辺には多くの山城や砦を築き、戦国時代には武田信玄に属して天文十六年（1547）の塩尻峠の合戦では仁科・山家氏らとともに小笠原氏から離脱し、小笠原氏を敗北に追いやった。しかし武田氏滅亡後は小笠原貞慶によって逆に滅ぼされたという。

『梓川村誌』は、この砦は於田屋城を囲む砦群のなかでは上位の規模であって、東面の中核であったとする。また１８０×８０ｍの単郭で四条の堀切が走っていたというが、現在は耕作地及び藪化で明瞭ではない。