特許ウォッチ

公開番号2025022138
公報種別公開特許公報(A)
公開日2025-02-14
出願番号2023126426
出願日2023-08-02
発明の名称演奏補助装置、演奏補助方法、及び、演奏補助プログラム
出願人東日本電信電話株式会社
代理人個人,個人,個人
主分類G10H 1/00 20060101AFI20250206BHJP(楽器;音響)
要約【課題】楽器演奏の構成音ミス及びタイミングミスの双方を高精度に検出可能な技術を提供する。
【解決手段】演奏ミス検出部14は、楽器演奏の特徴量を表す時系列な第1特徴量データと模範演奏及び間違い演奏の各特徴量を表す時系列な各第2特徴量データとを抽出し、AIにより第1特徴量データと各第2特徴量データとの間の各距離の大きさを比較し、第1特徴量データに最も距離の近い第2特徴量データに係る模範演奏又は間違い演奏を検出することにより、楽器演奏での構成音ミスの有無及び位置を検出し、楽器演奏の時系列な第1音圧データと模範演奏の時系列な第2音圧データとを抽出し、AIにより第1音圧データと第2音圧データとの間で対応関係にある音圧の各位置及び位置間の時間差を検出し、検出した楽器演奏での位置及び時間差が間違い演奏での位置及び時間差に該当するかを判定することにより、楽器演奏でのタイミングミスの有無及び位置を検出する。
【選択図】図1
特許請求の範囲【請求項１】
楽器演奏を補助する演奏補助装置において、
模範演奏及び間違い演奏の各楽譜データを記憶部に登録する登録部と、
楽器演奏の録音データを受け付ける受付部と、
前記模範演奏及び間違い演奏の各楽譜データと前記楽器演奏の録音データとを用いて、前記楽器演奏のミスをAIにより検出する検出部と、を備え、
前記検出部は、
前記楽器演奏の特徴量を表す時系列な第１特徴量データと前記模範演奏及び間違い演奏の各特徴量を表す時系列な各第２特徴量データとを抽出し、時系列データ同士の類似度を測るAIにより前記第１特徴量データと前記各第２特徴量データとの間の各距離の大きさを比較し、前記第１特徴量データに最も距離の近い第２特徴量データに係る模範演奏又は間違い演奏を検出することにより、前記楽器演奏での構成音ミスの有無及び構成音ミスがある場合には構成音ミスの位置を検出し、
前記楽器演奏の時系列な第１音圧データと前記模範演奏の時系列な第２音圧データとを抽出し、波形の形状を考慮して時系列データ同士の類似度を測るAIにより前記第１音圧データと前記第２音圧データとの間で対応関係にある音圧の各位置及び位置間の時間差を検出し、検出した前記楽器演奏での位置及び前記時間差が前記間違い演奏での位置及び時間差に該当するかを判定することにより、前記楽器演奏でのタイミングミスの有無及びタイミングミスがある場合にはタイミングミスの位置を検出する演奏補助装置。
続きを表示（約 980 文字）【請求項２】
前記検出部は、
構成音ミスの楽譜データのみを用いて前記構成音ミスを検出し、タイミングミスの楽譜データのみを用いて前記タイミングミスを検出する請求項１に記載の演奏補助装置。
【請求項３】
前記時系列データ同士の類似度を測るAIは、
DTW（Dynamic Time Warping）であり、
前記波形の形状を考慮して時系列データ同士の類似度を測るAIは、
DDTW（Derivative DTW）である請求項１に記載の演奏補助装置。
【請求項４】
楽器演奏を補助する演奏補助方法において、
演奏補助装置が、
模範演奏及び間違い演奏の各楽譜データを記憶部に登録する第１ステップと、
楽器演奏の録音データを受け付ける第２ステップと、
前記模範演奏及び間違い演奏の各楽譜データと前記楽器演奏の録音データとを用いて、前記楽器演奏のミスをAIにより検出する第３ステップと、を行い、
前記第３ステップでは、
前記楽器演奏の特徴量を表す時系列な第１特徴量データと前記模範演奏及び間違い演奏の各特徴量を表す時系列な各第２特徴量データとを抽出し、時系列データ同士の類似度を測るAIにより前記第１特徴量データと前記各第２特徴量データとの間の各距離の大きさを比較し、前記第１特徴量データに最も距離の近い第２特徴量データに係る模範演奏又は間違い演奏を検出することにより、前記楽器演奏での構成音ミスの有無及び構成音ミスがある場合には構成音ミスの位置を検出し、
前記楽器演奏の時系列な第１音圧データと前記模範演奏の時系列な第２音圧データとを抽出し、波形の形状を考慮して時系列データ同士の類似度を測るAIにより前記第１音圧データと前記第２音圧データとの間で対応関係にある音圧の各位置及び位置間の時間差を検出し、検出した前記楽器演奏での位置及び前記時間差が前記間違い演奏での位置及び時間差に該当するかを判定することにより、前記楽器演奏でのタイミングミスの有無及びタイミングミスがある場合にはタイミングミスの位置を検出する演奏補助方法。
【請求項５】
請求項１に記載の演奏補助装置としてコンピュータを機能させる演奏補助プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、演奏補助装置、演奏補助方法、及び、演奏補助プログラムに関する。
続きを表示（約 2,600 文字）【背景技術】
【０００２】
ピアノ教室の生徒は、自宅でピアノ演奏を練習する場合には自分では演奏の間違いを認識することが困難である。そこで、演奏の間違いを検出して生徒に修正箇所としてアドバイスすることで、生徒の練習を補助する技術が求められている。その補助技術として、演奏をマイク録音して採点する技術がある（非特許文献１）。
【先行技術文献】
【非特許文献】
【０００３】
“ソプラノリコーダー授業Plus”、ヤマハ株式会社、［online］、［令和5年7月10日検索］、＜URL: https://ses.yamaha.com/products/digital_soprano_plus/＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ピアノのように複数の音程が同時に発音する可能性がある楽器においては、マイク録音からその構成音を認識し、演奏の間違いを検出することは困難であった。
【０００５】
本開示は、上記に鑑みてなされたものであり、楽器演奏の構成音ミス及びタイミングミスの双方を高精度に検出可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示の一態様の演奏補助装置は、楽器演奏を補助する演奏補助装置において、模範演奏及び間違い演奏の各楽譜データを記憶部に登録する登録部と、楽器演奏の録音データを受け付ける受付部と、前記模範演奏及び間違い演奏の各楽譜データと前記楽器演奏の録音データとを用いて、前記楽器演奏のミスをAIにより検出する検出部と、を備え、前記検出部は、前記楽器演奏の特徴量を表す時系列な第１特徴量データと前記模範演奏及び間違い演奏の各特徴量を表す時系列な各第２特徴量データとを抽出し、時系列データ同士の類似度を測るAIにより前記第１特徴量データと前記各第２特徴量データとの間の各距離の大きさを比較し、前記第１特徴量データに最も距離の近い第２特徴量データに係る模範演奏又は間違い演奏を検出することにより、前記楽器演奏での構成音ミスの有無及び構成音ミスがある場合には構成音ミスの位置を検出し、前記楽器演奏の時系列な第１音圧データと前記模範演奏の時系列な第２音圧データとを抽出し、波形の形状を考慮して時系列データ同士の類似度を測るAIにより前記第１音圧データと前記第２音圧データとの間で対応関係にある音圧の各位置及び位置間の時間差を検出し、検出した前記楽器演奏での位置及び前記時間差が前記間違い演奏での位置及び時間差に該当するかを判定することにより、前記楽器演奏でのタイミングミスの有無及びタイミングミスがある場合にはタイミングミスの位置を検出する。
【０００７】
本開示の一態様の演奏補助方法は、楽器演奏を補助する演奏補助方法において、演奏補助装置が、模範演奏及び間違い演奏の各楽譜データを記憶部に登録する第１ステップと、楽器演奏の録音データを受け付ける第２ステップと、前記模範演奏及び間違い演奏の各楽譜データと前記楽器演奏の録音データとを用いて、前記楽器演奏のミスをAIにより検出する第３ステップと、を行い、前記第３ステップでは、前記楽器演奏の特徴量を表す時系列な第１特徴量データと前記模範演奏及び間違い演奏の各特徴量を表す時系列な各第２特徴量データとを抽出し、時系列データ同士の類似度を測るAIにより前記第１特徴量データと前記各第２特徴量データとの間の各距離の大きさを比較し、前記第１特徴量データに最も距離の近い第２特徴量データに係る模範演奏又は間違い演奏を検出することにより、前記楽器演奏での構成音ミスの有無及び構成音ミスがある場合には構成音ミスの位置を検出し、前記楽器演奏の時系列な第１音圧データと前記模範演奏の時系列な第２音圧データとを抽出し、波形の形状を考慮して時系列データ同士の類似度を測るAIにより前記第１音圧データと前記第２音圧データとの間で対応関係にある音圧の各位置及び位置間の時間差を検出し、検出した前記楽器演奏での位置及び前記時間差が前記間違い演奏での位置及び時間差に該当するかを判定することにより、前記楽器演奏でのタイミングミスの有無及びタイミングミスがある場合にはタイミングミスの位置を検出する。
【０００８】
本開示の一態様の演奏補助プログラムは、上記演奏補助装置としてコンピュータを機能させる。
【発明の効果】
【０００９】
本開示によれば、楽器演奏の構成音ミス及びタイミングミスの双方を高精度に検出可能な技術を提供できる。
【図面の簡単な説明】
【００１０】
図１は、演奏音採点装置の機能ブロック構成を示す図である。
図２は、全体の処理フローを示す図である。
図３は、模範演奏の楽譜データの例を示す図である。
図４は、間違い演奏（構成音ミス）の楽譜データの例を示す図である。
図５は、間違い演奏（タイミングミス）の楽譜データの例を示す図である。
図６は、演奏ミスの検出処理フローを示す図である。
図７は、模範演奏の時系列な特徴量データの生成方法を示す図である。
図８は、間違い演奏の時系列な特徴量データの例を示す図である。
図９は、楽器演奏の時系列な特徴量データの生成方法を示す図である。
図１０は、模範演奏の特徴量データと正しい楽譜演奏の特徴量データとの間で検出されるパスのイメージを示す図である。
図１１は、演奏ミスの判定結果を示す図である。
図１２は、演奏ミスの検出処理フローを示す図である。
図１３は、タイミングミスの検出処理フローを示す図である。
図１４は、模範演奏と楽器演奏の音圧データの例を示す図である。
図１５は、タイミングミスの条件設定例を示す図である。
図１６は、演奏ミスの判定結果を示す図である。
図１７は、演奏音採点装置のハードウェア構成を示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許