奈良時代・平安時代の延岡は、この地域の豪族である、”土持家”により支配されていましたが、豊臣秀吉が天下統一を成し遂げた1590年（天正18年）秀吉の命を受けた「高橋元種」公が延岡の地に赴任し、延岡城は高橋元種により1603年（慶長8年）完成をしました。その後、有馬時代が三代70年続き、その後、三浦氏・牧野氏と藩主が変わり、1747年（延亨4年）内藤家9代目が現在の福島県いわき市より延岡へ入封し、第16代政挙公まで延岡藩主を務め、明治維新を迎えるまで内藤家がこの地を治めていました。