永禄九年（1566）武田信玄四名臣のひとり馬場美濃守信房の築城。越後に対する警備と更級・水内山部の鎮撫にあてた城である。

元香坂氏の居城牧城の一部で犀川を望む高台に位置していて、蛇行する犀川の流れを利用した自然の要塞の地に縄張りしたもので、虎口の丸馬出、本丸脇の隠し馬出し（千人枡）をはじめ随所に築城の妙をこらしている。

元亀四年（1573）5月31日信房が長篠・設楽ヶ原の合戦によって戦死後、その子信春が在城したが、天正十年武田氏滅亡してからは上杉景勝の属城となり、芋川親正父子が置かれた。

慶長九年（1598）景勝の移封後、海津城主田丸直昌・森忠政等がここを管し、海津城主となった松平忠輝は、はじめ老臣松平信直に在城させたが、1616年忠輝が罪によって改易されると共に牧之島城も廃城となり、築城以来50年で城郭としての機能を失った。その3年後には火災によってすべての建築物を失ったという。