特許ウォッチ

公開番号2024118627
公報種別公開特許公報(A)
公開日2024-09-02
出願番号2023025012
出願日2023-02-21
発明の名称情報処理方法
出願人ヤマハ株式会社
代理人弁理士法人旺知国際特許事務所
主分類G10H 1/00 20060101AFI20240826BHJP(楽器;音響)
要約【課題】楽器の演奏中における利用者の手の形状を高精度に推定する。
【解決手段】情報処理システムは、入力データ取得部41と指位置データ生成部42とを具備する。入力データ取得部41は、楽器を演奏している利用者の手の画像を表す画像データGと、手における複数の解析点の各々の位置を表す指位置データYと、楽器の演奏を表す演奏データEと、を含む入力データC1を取得する。指位置データ生成部42は、入力データC1を生成モデルMにより処理することで、画像データGが表す手の位置と演奏データEが表す演奏とに応じて指位置データYにおける複数の解析点の各々の位置が補正された指位置データZを生成する。
【選択図】図5
特許請求の範囲【請求項１】
楽器を演奏している利用者の手の画像を表す画像データと、前記手における複数の解析点の各々の位置を表す第１指位置データと、前記楽器の演奏を表す演奏データと、を含む入力データを取得し、
訓練済の生成モデルにより前記入力データを処理することで、前記画像データが表す手の位置と前記演奏データが表す演奏とに応じて前記第１指位置データにおける前記複数の解析点の各々の位置が補正された第２指位置データを生成する
コンピュータシステムにより実現される情報処理方法。

発明の詳細な説明【技術分野】
【０００１】
本開示は、楽器の演奏を解析する技術に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
利用者による楽器の演奏を解析する各種の技術が従来から提案されている。例えば特許文献１には、鍵盤楽器の鍵盤と利用者の手とを含む画像を解析することで、利用者の手の形状を推定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
国際公開第２０２１／１５７６９１号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、鍵盤楽器の鍵盤と利用者の手とを含む画像の解析だけでは、手の形状を高精度に推定することは現実的には困難である。例えば、鍵盤を操作する指が指くぐり等の奏法により他の指の背後に隠れた状態、または、高速に移動する指が画像においてぶれた状態では、画像の解析により利用者の手の形状を高精度に推定することはできない。以上の事情を考慮して、本開示のひとつの態様は、楽器の演奏中における利用者の手の形状を高精度に推定することを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために、本開示のひとつの態様に係る情報処理方法は、楽器を演奏している利用者の手の画像を表す画像データと、前記手における複数の解析点の各々の位置を表す第１指位置データと、前記楽器の演奏を表す演奏データと、を含む入力データを取得し、訓練済の生成モデルにより前記入力データを処理することで、前記画像データが表す手の位置と前記演奏データが表す演奏とに応じて前記第１指位置データにおける前記複数の解析点の各々の位置が補正された第２指位置データを生成する。
【図面の簡単な説明】
【０００６】
第１実施形態における情報処理システムのブロック図である。
画像データおよび領域データの説明図である。
情報処理システムの機能的な構成を例示するブロック図である。
解析データの説明図である。
解析処理部の構成を例示するブロック図である。
指位置データの模式図である。
入力データ取得部のブロック図である。
補充処理のフローチャートである。
解析処理のフローチャートである。
訓練処理部の説明図である。
訓練処理のフローチャートである。
第４実施形態における電子鍵盤楽器のブロック図である。
【発明を実施するための形態】
【０００７】
Ａ：第１実施形態
図１は、第１実施形態に係る情報処理システム１０の構成を例示するブロック図である。情報処理システム１０は、利用者（すなわち演奏者）による電子楽器２０の演奏を解析するためのコンピュータシステムである。情報処理システム１０には、電子楽器２０および撮像装置３０が有線または無線により接続される。
【０００８】
電子楽器２０は、鍵盤２１を含む電子鍵盤楽器である。鍵盤２１は、相異なる音高に対応する複数の鍵２２で構成される。利用者は、各鍵２２を順次に操作することで所望の楽曲を演奏する。
【０００９】
電子楽器２０は、利用者による演奏を表す演奏データＥを情報処理システム１０に送信する。演奏データＥは、利用者が演奏した音高を表すデータである。利用者による各鍵２２の操作毎に、電子楽器２０から演奏データＥが順次に送信される。例えば、演奏データＥは、利用者が操作した鍵２２に対応する音高と押鍵の強度とを指定する。演奏データＥは、例えばＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠したイベントデータである。
【００１０】
撮像装置３０は、利用者による電子楽器２０の演奏を撮像する画像入力機器である。具体的には、撮像装置３０は、時間軸上の単位期間（フレーム）毎に画像データＧを生成する。単位期間は、所定の時間長の期間である。画像データＧの時系列は動画データを構成する。撮像装置３０は、例えば、撮影レンズ等の光学系と、光学系からの入射光を受光する撮像素子と、撮像素子による受光量に応じた画像データＧを生成する処理回路とを具備する。なお、第１実施形態においては情報処理システム１０に別体の撮像装置３０が接続された形態を例示するが、撮像装置３０は情報処理システム１０に搭載されてもよい。
（【００１１】以降は省略されています）

関連特許