『新編武蔵国風土記稿』によれば、妙安寺の寺伝に「斎藤政賢が庵室をむすべり、此則この地なり」と記し、妙安寺がかつて斎藤政賢の館であったと伝えている。永禄年間の1558〜1570年の戦国期の創設らしい。政賢の弟・行方修理守亮義安は後北条氏の被官人であり、その死後に妻であった妙安尼が元政賢館の場所に庵を結び、1589年に歿してその地に妙安寺が開基された。1643年に造立された妙安尼の供養塔が今も残っている。