特許ウォッチ

公開番号2024033382
公報種別公開特許公報(A)
公開日2024-03-13
出願番号2022136925
出願日2022-08-30
発明の名称楽器識別方法、楽器識別装置、および、楽器識別プログラム
出願人ヤマハ株式会社,東京都公立大学法人
代理人弁理士法人楓国際特許事務所
主分類G10L 25/51 20130101AFI20240306BHJP(楽器;音響)
要約【課題】入力音の音源の楽器を特定する情報を自動で識別する。
【解決手段】楽器識別方法は、音信号に基づいて音響特徴量を算出し、前記音響特徴量に基づいて画像認識技術で用いられる画像特徴量を算出し、前記音信号と楽器を特定する情報とが対応しており、前記画像特徴量を入力とし、前記楽器を特定する情報を出力として訓練させた学習済モデルを用いて、前記音信号から前記楽器を特定する情報を出力する。
【選択図】図2
特許請求の範囲【請求項１】
音信号に基づいて音響特徴量を算出し、
前記音響特徴量に基づいて、画像認識技術で用いられる画像特徴量を算出し、
前記音信号と楽器を特定する情報とが対応しており、前記画像特徴量を入力とし、前記楽器を特定する情報を出力として訓練させた学習済モデルを用いて、前記音信号から前記楽器を特定する情報を出力する、
楽器識別方法。
続きを表示（約 970 文字）【請求項２】
前記学習済モデルは、前記音響特徴量を入力としてさらに加えて訓練させたモデルである、
請求項１に記載の楽器識別方法。
【請求項３】
前記音響特徴量に対して、複数種類の前記画像特徴量を算出し、
前記学習済モデルは、前記複数種類の画像特徴量を入力として訓練させたモデルである、
請求項１または請求項２に記載の楽器識別方法。
【請求項４】
前記音信号に基づいて、複数種類の前記音響特徴量を算出し、
前記学習済モデルは、前記複数種類の音響特徴量に基づく複数の前記画像特徴量を入力として訓練させたモデルである、
請求項１または請求項２に記載の楽器識別方法。
【請求項５】
前記音信号に基づいて、複数種類の前記音響特徴量を算出し、
前記学習済モデルは、前記複数種類の音響特徴量に基づく複数種類の前記画像特徴量を入力として訓練させたモデルである、
請求項１または請求項２に記載の楽器識別方法。
【請求項６】
前記音信号における１回の発音から前記音響特徴量を算出する、
請求項１または請求項２に記載の楽器識別方法。
【請求項７】
前記音信号として、単楽器の出力音を入力する、
請求項１または請求項２に記載の楽器識別方法。
【請求項８】
前記学習済モデルは、ＣＮＮである、
請求項1または請求項２に記載の楽器識別方法。
【請求項９】
音信号に基づいて音響特徴量を算出する音響特徴量算出部と、
前記音響特徴量に基づいて、画像認識技術で用いられる画像特徴量を算出する画像特徴量算出部と、
前記音信号と楽器を特定する情報とが対応しており、前記画像特徴量を入力とし、前記楽器を特定する情報を出力として訓練させた学習済モデルを用いて、前記音信号から前記楽器を特定する情報を出力する識別部と、
を備える、
楽器識別装置。
【請求項１０】
前記学習済モデルは、前記音響特徴量を入力としてさらに加えて訓練させたモデルである、
請求項９に記載の楽器識別装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
この発明の一実施形態は、楽器識別方法、楽器識別装置、および、楽器識別プログラムに関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
非特許文献１には、音響特徴量から得られた画像特徴量を用いて、音楽のジャンルを推定する方法が開示されている。
【先行技術文献】
【非特許文献】
【０００３】
Combining visual and acoustic features for music genreclassification, Expert Systems With Applications 45(2016)108-117, An Internationaljournal
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ミキサの操作等において、入力音の音源の楽器名等の楽器を特定する情報を知りたいことがある。しかしながら、非特許文献１の方法では、入力音の音源の楽器名を自動で識別できない。
【０００５】
以上の事情を考慮して、本開示のひとつの態様は、入力音の音源の楽器を特定する情報を自動で識別することを目的とする。
【課題を解決するための手段】
【０００６】
楽器識別方法は、音信号に基づいて音響特徴量を算出し、前記音響特徴量に基づいて画像認識技術で用いられる画像特徴量を算出し、前記音信号と楽器を特定する情報とが対応しており、前記画像特徴量を入力とし、前記楽器を特定する情報を出力として訓練させた学習済モデルを用いて、前記音信号から前記楽器を特定する情報を出力する。
【発明の効果】
【０００７】
楽器識別装置は、入力音の音源の楽器を特定する情報を自動で識別できる。
【図面の簡単な説明】
【０００８】
図１は、楽器識別装置１０の構成を示すブロック図である。
図２は、楽器識別装置１０の概略処理を示すフローチャートである。
図３（Ａ）、図３（Ｂ）、図３（Ｃ）は、音響特徴量を算出するための前処理を説明するための波形図の一例を示す。
図４は、音響特徴量の算出から画像特徴量の算出にかけての処理の流れを示すブロック図である。
図５（Ａ）、図５（Ｂ）、図５（Ｃ）は、音響特徴量の一例を示す図である。
図６（Ａ）、図６（Ｂ）は、画像特徴量の一例を示す図である。
図７は、音響特徴量の算出、画像特徴量の算出、および、識別手法の処理例を示すフローチャートである。
図８は、音響特徴量の算出、画像特徴量の算出、および、識別手法の処理例を示すフローチャートである。
図９は、音響特徴量の算出、画像特徴量の算出、および、識別手法の処理例を示すフローチャートである。
図１０は、音響特徴量の算出、画像特徴量の算出、および、識別手法の処理例を示すフローチャートである。
図１１は、音響特徴量の算出、画像特徴量の算出、および、識別手法の処理例を示すフローチャートである。
図１２は、音響特徴量の算出、画像特徴量の算出、および、識別手法の処理例を示すフローチャートである。
図１３は、音響特徴量の算出、画像特徴量の算出、および、識別手法の処理例を示すフローチャートである。
図１４は、音響特徴量の算出、画像特徴量の算出、および、識別手法の処理例を示すフローチャートである。
図１５（Ａ）、図１５（Ｂ）は、上述の各種手法を用いたときの識別結果（正答率）を示す表であり、図１５（Ｃ）は、従来の識別方法を用いたときの識別結果（正答率）を示す表である。
【発明を実施するための形態】
【０００９】
図１は、楽器識別装置１０の構成を示すブロック図である。図２は、楽器識別装置１０の概略処理を示すフローチャートである。
【００１０】
楽器識別装置１０は、前処理部２０、音響特徴量算出部３０、画像特徴量算出部４０、および、識別部５０を備える。識別部５０は、学習済モデル５００を記憶している。
（【００１１】以降は省略されています）

関連特許