昭和52年に「地方における小規模な城下町の典型的なものとして侍屋敷の歴史的風致をよくあらわし、我が国にとってその価値は高い」との理由で国の重要伝統的建造物群保存地区の選定を受けた。江戸時代初めの地割が現在も残っており、武家屋敷の石垣、生垣、門が各所に残っている。保存地区内や周辺には飫肥城、豫章館、歴史資料館、松尾の丸、国際交流センター小村記念館、旧伊東伝左衛門家、振徳堂、商家資料館、旧山本猪平家、小村寿太郎侯生誕地など見るべき史跡、施設が多い。