特許ウォッチ

公開番号2024133411
公報種別公開特許公報(A)
公開日2024-10-01
出願番号2024118729,2022049259
出願日2024-07-24,2022-03-25
発明の名称情報処理方法、情報処理システムおよびプログラム
出願人ヤマハ株式会社
代理人弁理士法人旺知国際特許事務所
主分類G10G 3/04 20060101AFI20240920BHJP(楽器;音響)
要約【課題】弦楽器の運指を利用者が視覚的および直観的に確認できるようにする。
【解決手段】情報処理システムは、弦楽器の運指を表す運指情報を取得し、運指情報が表す運指に対応する仮想的な演奏者Oaと、前記演奏者により演奏される仮想的な弦楽器Obとを表す参照画像R2を、表示装置に表示する。
【選択図】図13
特許請求の範囲【請求項１】
弦楽器の運指を表す運指情報を取得し、
前記運指情報が表す運指に対応する仮想的な演奏者と、前記演奏者により演奏される仮想的な弦楽器とを表す参照画像を、表示装置に表示する
コンピュータシステムにより実現される情報処理方法。
続きを表示（約 1,200 文字）【請求項２】
さらに、前記運指情報が表す運指に対応する譜面を表す譜面画像を、前記表示装置に表示する
請求項１の情報処理方法。
【請求項３】
弦楽器を演奏する利用者の指および当該弦楽器の指板の画像に関する指情報を含む入力情報を取得し、
前記運指情報の取得においては、学習用の入力情報と学習用の運指情報との関係を学習した生成モデルにより、前記取得した入力情報を処理することで運指情報を生成する
請求項１または請求項２の情報処理方法。
【請求項４】
前記学習用の運指情報は、特定の１人の演奏者による演奏時の運指を表す
請求項３の情報処理方法。
【請求項５】
前記入力情報は、複数の演奏者の何れかの識別情報を含み、
前記生成モデルは、前記複数の演奏者の各々について、当該演奏者の識別情報を含む前記学習用の入力情報と、当該演奏者による運指を表す前記学習用の運指情報との関係を学習したモデルである
請求項３の情報処理方法。
【請求項６】
前記運指情報の生成においては、相異なる演奏者に対応する複数の生成モデルの何れかにより、前記取得した入力情報を処理することで、前記運指情報を生成し、
前記複数の生成モデルの各々は、前記学習用の入力情報と、当該生成モデルに対応する演奏者による運指を表す前記学習用の運指情報と、の関係を学習したモデルである
請求項３の情報処理方法。
【請求項７】
前記表示装置は、利用者の頭部に装着され、
前記参照画像の表示においては、前記利用者の頭部の挙動に応じて仮想空間内の位置および方向が制御される仮想カメラにより、前記仮想空間内の前記仮想的な演奏者と前記仮想的な弦楽器とを撮影した画像を、前記参照画像として前記表示装置に表示する
請求項１の情報処理方法。
【請求項８】
弦楽器の運指を表す運指情報を取得する情報処理部と、
前記運指情報が表す運指に対応する仮想的な演奏者と、前記演奏者により演奏される仮想的な弦楽器とを表す参照画像を、表示装置に表示する提示処理部と
を具備する情報処理システム。
【請求項９】
弦楽器の運指を表す運指情報を取得する情報処理部、および、
前記運指情報が表す運指に対応する仮想的な演奏者と、前記演奏者により演奏される仮想的な弦楽器とを表す参照画像を、表示装置に表示する提示処理部、
としてコンピュータシステムを機能させるプログラム。
【請求項１０】
弦楽器を演奏する利用者の指および当該弦楽器の指板の画像に関する指情報を含む入力情報を取得する情報取得部、および、
前記情報取得部が取得した入力情報を処理することで、運指を表す運指情報を生成する情報生成部、
としてコンピュータシステムを機能させるプログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、弦楽器の演奏を解析する技術に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
弦楽器の演奏を支援するための各種の技術が従来から提案されている。例えば特許文献１には、弦楽器のコードを演奏するときの運指を表す運指画像を、表示装置に表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２００５－２４１８７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示のひとつの態様は、弦楽器の運指を利用者が視覚的および直観的に確認できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために、本開示のひとつの態様に係る情報処理方法は、弦楽器の運指を表す運指情報を取得し、前記運指情報が表す運指に対応する仮想的な演奏者と、前記演奏者により演奏される仮想的な弦楽器とを表す参照画像を、表示装置に表示する。
【０００６】
本開示のひとつの態様に係る情報処理システムは、弦楽器の運指を表す運指情報を取得する情報処理部と、前記運指情報が表す運指に対応する仮想的な演奏者と、前記演奏者により演奏される仮想的な弦楽器とを表す参照画像を、表示装置に表示する提示処理部とを具備する。
【０００７】
本開示のひとつの態様に係るプログラムは、弦楽器の運指を表す運指情報を取得する情報処理部、および、前記運指情報が表す運指に対応する仮想的な演奏者と、前記演奏者により演奏される仮想的な弦楽器とを表す参照画像を、表示装置に表示する提示処理部、としてコンピュータシステムを機能させる。
【図面の簡単な説明】
【０００８】
情報処理システムの構成を例示するブロック図である。
演奏画像の模式図である。
情報処理システムの機能的な構成を例示するブロック図である。
画像解析処理のフローチャートである。
参照画像の模式図である。
演奏解析処理のフローチャートである。
機械学習システムの構成を例示するブロック図である。
機械学習システムの機能的な構成を例示するブロック図である。
機械学習処理のフローチャートである。
第３実施形態における情報処理システムの機能的な構成を例示するブロック図である。
第４実施形態における情報処理システムの機能的な構成を例示するブロック図である。
第４実施形態における機械学習システムの機能的な構成を例示するブロック図である。
変形例における参照画像の模式図である。
変形例における情報処理システムの機能的な構成を例示するブロック図である。
変形例における情報処理システムの機能的な構成を例示するブロック図である。
【発明を実施するための形態】
【０００９】
Ａ：第１実施形態
図１は、第１実施形態に係る情報処理システム１００の構成を例示するブロック図である。情報処理システム１００は、利用者Ｕによる弦楽器２００の演奏を解析するためのコンピュータシステム（演奏解析システム）である。弦楽器２００は、例えば、指板と複数の弦とを含むアコースティックギター等の自然楽器である。第１実施形態の情報処理システム１００は、利用者Ｕによる弦楽器２００の演奏における運指を解析する。運指は、弦楽器２００の演奏において利用者Ｕが自身の指を使用する方法である。具体的には、利用者Ｕが各弦を指板に対して押圧（以下「押弦」という）する指と、指板上における押弦の位置（弦とフレットとの組合せ）とが、弦楽器２００の運指として解析される。
【００１０】
情報処理システム１００は、制御装置１１と記憶装置１２と操作装置１３と表示装置１４と収音装置１５と撮像装置１６とを具備する。情報処理システム１００は、例えばスマートフォンまたはタブレット端末等の可搬型の情報装置、またはパーソナルコンピュータ等の可搬型または据置型の情報装置により実現される。なお、情報処理システム１００は、単体の装置として実現されるほか、相互に別体で構成された複数の装置でも実現される。
（【００１１】以降は省略されています）

関連特許