芋川氏の起源はよく分からないが、応永十一年（１４０４）に高梨氏が幕府に叛いた際に、細川兵庫助が討伐に向かい、高梨氏に従属していた芋川氏の若宮城は落ち、当主・長知は自害、一時芋川氏は断絶したという（『芋川氏累世譜録』『市河文書』）。

その後の経過は不明であるが、永禄十二年（１５６９）に武田信玄は芋川右衛門尉に「雪消えなば、越府に至り行に及ぶべく候。なおその堺無事に候や承はりたく候。」との文書を送っており、武田氏の傘下にあって、重用されていたことが分かる。武田氏滅亡後は上杉景勝に従属し、天正十年（1582）には信濃に侵攻した織田信長に対して、芋川親正を大将とし大倉城で一揆を蜂起したが敗れている（『信長公記』）。その後、上杉氏に従って大阪の陣に参戦し、大森城（福島市大森）の城主に収まったと云う。