特許ウォッチ

公開番号2024096376
公報種別公開特許公報(A)
公開日2024-07-12
出願番号2024075706,2022505049
出願日2024-05-08,2021-02-02
発明の名称演奏データに対する観衆の評価を推論する方法、システム、及びプログラム
出願人ヤマハ株式会社
代理人個人,個人
主分類G10G 1/00 20060101AFI20240705BHJP(楽器;音響)
要約【課題】演奏データに対する評価が適切に推論される方法、システム、及びプログラムを提供する。
【解決手段】演者による演奏を示す第1演奏データと、演奏を受け取った観衆による評価を示す第1評価データとの関係を学習した学習モデルを取得し、第2演奏データを取得し、学習モデルを用いて、第2演奏データを処理して、当該第2演奏データに対する評価を推論し、推論結果を示す第2評価データを出力し、前記第1演奏データは、演奏された音を示す音データ又は演奏における奏者の演奏操作を示す操作データと、演奏における奏者の映像を示す映像データとを含む。
【選択図】図4
特許請求の範囲【請求項１】
演者による演奏を示す第１演奏データと、前記演奏を受け取った観衆による評価を示す第１評価データとの関係を学習した学習モデルを取得し、
第２演奏データを取得し、
前記学習モデルを用いて、前記第２演奏データを処理して、当該第２演奏データに対する評価を推論し、推論結果を示す第２評価データを出力し、
前記第１演奏データは、演奏された音を示す音データ又は演奏における奏者の演奏操作を示す操作データと、演奏における奏者の映像を示す映像データと、を含む、
コンピュータによって実現される方法。
続きを表示（約 1,400 文字）【請求項２】
前記第２演奏データは、演奏された音を示す音データ又は演奏における奏者の演奏操作を示す操作データと、演奏における奏者の映像を示す映像データと、を含む、
請求項１に記載の方法。
【請求項３】
前記映像データは、前記演奏における前記演者の動きの特徴を示す動きデータである、請求項１又は請求項２に記載の方法。
【請求項４】
前記第１評価データは、前記演奏に対して観衆により付与される評価を示す主観データ、前記演奏における観衆のリアクションを示すリアクションデータ、及び前記演奏に対する投稿の量に関する投稿データの少なくともいずれかを含む、請求項１から請求項３のいずれか１項に記載の方法。
【請求項５】
前記リアクションデータは、観衆の各々の骨格を時系列的に取得したデータ、観衆全体の動きの大きさを示すデータ、個々の観衆の顔の表情を示すデータ、赤外線カメラで取得した観衆の体温を示すデータの少なくとも１つであることを特徴とする請求項４に記載の方法。
【請求項６】
前記第２評価データが示す評価を向上させるように、前記第２演奏データに含まれる映像データに対する映像エフェクトの候補としてその種類や入れるタイミングをユーザインタフェースにおいて提示する、請求項１から請求項３のいずれか１項に記載の方法。
【請求項７】
前記第１演奏データ及び前記第１評価データを外部から配信データとして受信することを特徴とする請求項１から請求項６のいずれか１項に記載の方法。
【請求項８】
前記第２評価データに基づき、ユーザインタフェースに仮想的な観客が示す反応をシミュレートして表示することを特徴とする請求項１から請求項７のいずれか１項に記載の方法。
【請求項９】
プログラムを記憶するメモリと、
前記プログラムを実行する１以上のプロセッサと、を備え、
前記１以上のプロセッサが前記メモリに記憶された前記プログラムを実行することにより、
演者による演奏を示す第１演奏データと、前記演奏を受け取った観衆による評価を示す第１評価データとの関係を学習した学習モデルを取得し、
第２演奏データを取得し、
前記学習モデルを用いて、前記第２演奏データを処理して、当該第２演奏データに対する評価を推論し、推論結果を示す第２評価データを出力し、
前記第１演奏データは、演奏された音を示す音データ又は演奏における奏者の演奏操作を示す操作データと、演奏における奏者の映像を示す映像データと、を含む、システム。
【請求項１０】
コンピュータに、
演者による演奏を示す第１演奏データと、前記演奏を受け取った観衆による評価を示す第１評価データとの関係を学習した学習モデルを取得し、
第２演奏データを取得し、
前記学習モデルを用いて、前記第２演奏データを処理して、当該第２演奏データに対する評価を推論し、推論結果を示す第２評価データを出力し、
前記第１演奏データは、演奏された音を示す音データ又は演奏における奏者の演奏操作を示す操作データと、演奏における奏者の映像を示す映像データと、を含む、
処理を実行させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、演奏データに対する観衆の評価を推論する方法、システム、及びプログラムに関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
従来より、ユーザが行う演奏操作を評価する演奏評価装置が使用されている。例えば、特許文献１には、演奏された楽曲全体のうちから一部を選択的に対象として演奏操作を評価する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特許第３６７８１３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１が開示するのは、ユーザによる演奏の正確さを評価する技術であって、演奏がどの程度観衆に評価されるか（観衆に受けるか）を推論する技術ではない。ユーザが自分の演奏を適切に改善するには、演奏に対する評価を事前に推論することが求められる。
【０００５】
本発明は、演奏データに対する評価を適切に推論する方法、システム、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の一態様に係る方法は、コンピュータによって実現される方法であって、演者による演奏を示す第１演奏データと、前記演奏を受け取った観衆による評価を示す第１評価データとの関係を学習した学習モデルを取得し、第２演奏データを取得し、前記学習モデルを用いて、前記第２演奏データを処理して、当該第２演奏データに対する評価を推論し、推論結果を示す第２評価データを出力し、前記第１演奏データは、演奏された音を示す音データ又は演奏における奏者の演奏操作を示す操作データと、演奏における奏者の映像を示す映像データと、を含む。
【発明の効果】
【０００７】
本発明によれば、演奏データに対する評価が適切に推論される。
【図面の簡単な説明】
【０００８】
本発明の実施形態に係る情報処理システムを示す全体構成図である。
情報処理装置のハードウェア構成を示すブロック図である。
学習サーバのハードウェア構成を示すブロック図である。
本発明の実施形態に係る情報処理システムの機能的構成を示すブロック図である。
本発明の実施形態に係る情報処理システムにおける機械学習処理を示すシーケンス図である。
本発明の実施形態に係る情報処理システムにおける推論提示処理を示すシーケンス図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について添付図面を参照しながら詳細に説明する。以下に説明される各実施形態は、本発明を実現可能な構成の一例に過ぎない。以下の各実施形態は、本発明が適用される装置の構成や各種の条件に応じて適宜に修正又は変更することが可能である。また、以下の各実施形態に含まれる要素の組合せの全てが本発明を実現するに必須であるとは限られず、要素の一部を適宜に省略することが可能である。したがって、本発明の範囲は、以下の各実施形態に記載される構成によって限定されるものではない。また、相互に矛盾のない限りにおいて実施形態内に記載された複数の構成を組み合わせた構成も採用可能である。
【００１０】
図１は、本発明の実施形態に係る情報処理システムＳを示す全体構成図である。図１に示すように、本実施形態の情報処理システムＳは、情報処理装置１００及び学習サーバ２００を有する。情報処理装置１００及び学習サーバ２００は、ネットワークＮＷを介して相互に通信することができる。ネットワークＮＷには、後述される配信サーバＤＳが接続されていてよい。
（【００１１】以降は省略されています）

関連特許