特許ウォッチ

公開番号2025036722
公報種別公開特許公報(A)
公開日2025-03-14
出願番号2025001759,2021051180
出願日2025-01-06,2021-03-25
発明の名称演奏解析方法、演奏解析システムおよびプログラム
出願人ヤマハ株式会社
代理人弁理士法人旺知国際特許事務所
主分類G10G 1/00 20060101AFI20250306BHJP(楽器;音響)
要約【課題】利用者が演奏する楽器を特定の撮影条件で撮影した画像を生成する。
【解決手段】演奏解析システム100は、楽器の画像と当該楽器を演奏する利用者の複数の手指の画像とを含む演奏画像における楽器の画像が、参照画像に含まれる参照楽器の画像に近付くように、演奏画像を射影変換する変換行列Wを生成する行列生成部312と、変換行列Wを利用して演奏画像の射影変換を実行する射影変換部314とを具備する。
【選択図】図3
特許請求の範囲【請求項１】
楽器の画像と当該楽器を演奏する利用者の複数の手指の画像とを含む演奏画像における前記楽器の画像が、参照楽器を表す参照画像に近付くように、前記演奏画像の座標を射影変換する変換行列を生成し、
前記変換行列を利用して前記演奏画像の射影変換を実行する
コンピュータシステムにより実現される画像処理方法。
続きを表示（約 1,100 文字）【請求項２】
鍵盤楽器の鍵盤の画像と当該鍵盤楽器を演奏する利用者の複数の手指の画像とを含む演奏画像における前記鍵盤の画像が、参照楽器を表す参照画像に近付くように、前記演奏画像を射影変換する変換行列を生成し、
前記変換行列を利用して前記演奏画像の射影変換を実行する
コンピュータシステムにより実現される画像処理方法。
【請求項３】
前記変換行列の生成においては、
前記変換行列の初期値である初期行列を設定し、
前記変換行列の生成においては、前記参照画像と前記演奏画像における前記鍵盤の画像との間の拡張相関係数が増加するように、前記初期行列を反復的に更新する
請求項２の画像処理方法。
【請求項４】
前記初期行列の設定においては、
前記演奏画像における鍵盤の画像のうち前記利用者からの指示に応じた目標領域を、前記参照画像のうち特定の音高に対応する領域に射影変換するための行列を、前記初期行列として設定する
請求項３の画像処理方法。
【請求項５】
前記初期行列の設定においては、
前記演奏画像のうち前記利用者が操作装置に対する操作で指定した領域を前記目標領域として、前記初期行列を設定する
請求項４の画像処理方法。
【請求項６】
前記初期行列の設定においては、
前記利用者が前記鍵盤楽器により演奏した音高を指定する演奏データと、前記演奏画像において前記利用者が前記音高を演奏した手指の位置を表す指位置データとを取得し、
前記指位置データが表す手指の位置が、前記参照画像のうち前記演奏データが指定する音高に対応する部分に近付くように、前記初期行列を設定する
請求項４の画像処理方法。
【請求項７】
楽器の画像と当該楽器を演奏する利用者の複数の手指の画像とを含む演奏画像における前記楽器の画像が、参照画像に含まれる参照楽器の画像に近付くように、前記演奏画像を射影変換する変換行列を生成する行列生成部と、
前記変換行列を利用して前記演奏画像の射影変換を実行する射影変換部と
を具備する画像処理システム。
【請求項８】
楽器の画像と当該楽器を演奏する利用者の複数の手指の画像とを含む演奏画像における前記楽器の画像が、参照画像に含まれる参照楽器の画像に近付くように、前記演奏画像を射影変換する変換行列を生成する行列生成部、および、
前記変換行列を利用して前記演奏画像の射影変換を実行する射影変換部
としてコンピュータシステムを機能させるプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、利用者による演奏を解析する技術に関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
例えば鍵盤楽器等の楽器を演奏する利用者を撮影装置により撮影した画像を解析する各種の技術が従来から提案されている。例えば特許文献１には、利用者による鍵盤楽器の演奏を撮影した画像を解析することで当該演奏に係る楽曲の楽譜を生成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
米国特許第９４１８６３７号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、鍵盤楽器の鍵盤に対する撮影装置の撮影条件は、撮影毎に相違する可能性がある。以上の事情を考慮して、本開示のひとつの態様は、利用者が演奏する楽器を特定の撮影条件で撮影した画像を生成することを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために、本開示のひとつの態様に係る画像処理方法は、楽器の画像と当該楽器を演奏する利用者の複数の手指の画像とを含む演奏画像における前記楽器の画像が、参照楽器を表す参照画像に近付くように、前記演奏画像の座標を射影変換する変換行列を生成し、前記変換行列を利用して前記演奏画像の射影変換を実行する。
【０００６】
本開示のひとつの態様に係る画像処理システムは、楽器の画像と当該楽器を演奏する利用者の複数の手指の画像とを含む演奏画像における前記楽器の画像が、参照画像に含まれる参照楽器の画像に近付くように、前記演奏画像を射影変換する変換行列を生成する行列生成部と、前記変換行列を利用して前記演奏画像の射影変換を実行する射影変換部とを具備する。
【０００７】
本開示のひとつの態様に係るプログラムは、楽器の画像と当該楽器を演奏する利用者の複数の手指の画像とを含む演奏画像における前記楽器の画像が、参照画像に含まれる参照楽器の画像に近付くように、前記演奏画像を射影変換する変換行列を生成する行列生成部、および、前記変換行列を利用して前記演奏画像の射影変換を実行する射影変換部、としてコンピュータシステムを機能させる。
【図面の簡単な説明】
【０００８】
第１実施形態に係る演奏解析システムの構成を例示するブロック図である。
演奏画像の模式図である。
演奏解析システムの機能的な構成を例示するブロック図である。
解析画面の模式図である。
指位置推定処理のフローチャートである。
左右判定処理のフローチャートである。
画像抽出処理の説明図である。
画像抽出処理のフローチャートである。
推定モデルを確立する機械学習の説明図である。
参照画像の模式図である。
行列生成処理のフローチャートである。
初期設定処理のフローチャートである。
設定画面の模式図である。
演奏解析処理のフローチャートである。
運指推定の課題に関する説明図である。
第２実施形態における演奏解析システムの構成を例示するブロック図である。
第２実施形態における制御データの模式図である。
第２実施形態における演奏解析処理のフローチャートである。
第３実施形態における演奏解析処理のフローチャートである。
第４実施形態における初期設定処理のフローチャートである。
第５実施形態における演奏解析システムの構成を例示するブロック図である。
第６実施形態における画像処理システムの機能的な構成を例示するブロック図である。
第６実施形態における第１画像処理のフローチャートである。
第７実施形態における画像処理システムの機能的な構成を例示するブロック図である。
第７実施形態における第２画像処理のフローチャートである。
【発明を実施するための形態】
【０００９】
１：第１実施形態
図１は、第１実施形態に係る演奏解析システム１００の構成を例示するブロック図である。演奏解析システム１００には、鍵盤楽器２００が有線または無線により接続される。鍵盤楽器２００は、複数（Ｎ個）の鍵２１が配列された鍵盤２２を具備する電子楽器である。鍵盤２２の複数の鍵２１の各々は、相異なる音高ｎ（ｎ＝１～Ｎ）に対応する。利用者（すなわち演奏者）は、自身の左手および右手により鍵盤楽器２００の所望の鍵２１を順次に操作する。鍵盤楽器２００は、利用者による演奏を表す演奏データＰを演奏解析システム１００に供給する。演奏データＰは、利用者が順次に演奏する複数の音符の各々について当該音符の音高ｎを指定する時系列データである。例えば、演奏データＰは、例えばＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠した形式のデータである。
【００１０】
演奏解析システム１００は、利用者による鍵盤楽器２００の演奏を解析するコンピュータシステムである。具体的には、演奏解析システム１００は、利用者の運指を解析する。運指は、鍵盤楽器２００の演奏において利用者が左手および右手の各手指を使用する方法（すなわち指使い）である。すなわち、利用者が鍵盤楽器２００の各鍵２１を何れの手指により操作するかという情報が、利用者の運指として解析される。
（【００１１】以降は省略されています）

関連特許