特許ウォッチ

公開番号2024128243
公報種別公開特許公報(A)
公開日2024-09-24
出願番号2023037114
出願日2023-03-10
発明の名称動画処理方法
出願人ヤマハ株式会社
代理人弁理士法人旺知国際特許事務所
主分類G10H 1/00 20060101AFI20240913BHJP(楽器;音響)
要約【課題】所望の演奏者が所望の鍵盤楽器を演奏しているかのような動画を簡便に生成する。
【解決手段】動画処理システムは、演奏者による第1鍵盤楽器の演奏を表す演奏動画Xから演奏者の手を含む第1参照部分R1を抽出し(Sa3)、第2鍵盤楽器の鍵盤部分Byに第1参照部分R1を重畳することで合成動画Yを生成する(Sa6)。
【選択図】図7
特許請求の範囲【請求項１】
演奏者による第１鍵盤楽器の演奏を表す演奏動画から前記演奏者の手を含む第１参照部分を抽出し、
第２鍵盤楽器の鍵盤部分に前記第１参照部分を重畳することで合成動画を生成する
コンピュータシステムにより実現される動画処理方法。
続きを表示（約 390 文字）【請求項２】
前記第１参照部分は、さらに、前記第１鍵盤楽器の鍵盤を含む
請求項１の動画処理方法。
【請求項３】
さらに、前記演奏者による演奏の内容を表す第２参照部分を前記演奏動画から抽出し、
前記合成動画の生成においては、さらに、前記第２参照部分を前記第２鍵盤楽器に重畳する
請求項１の動画処理方法。
【請求項４】
さらに、前記演奏者の手の表面における深度を表す深度情報を前記演奏動画から生成し、
前記合成動画の生成においては、前記第１参照部分における前記演奏者の手の表面の深度を前記深度情報に応じて制御する
請求項１の動画処理方法。
【請求項５】
前記合成動画の生成においては、仮想空間内に設置された仮想的な前記第２鍵盤楽器に前記第１参照部分を重畳する
請求項１の動画処理方法。

発明の詳細な説明【技術分野】
【０００１】
本開示は、動画を処理する技術に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
鍵盤楽器の演奏の様子を表す動画を提供する各種の技術が従来から提案されている。例えば特許文献１には、演奏者が楽器を演奏する動作の解析により生成された関節動作画像と、演奏時の身体変化を表す身体変化画像とを含む仮想画像を、利用者が視認する視界画像に重畳して表示装置に表示する構成が開示されている。
【先行技術文献】
【特許文献】
【０００３】
国際公開第２０１７／０２９９１５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば所望の演奏者が所望の鍵盤楽器により演奏する動画を視聴したいという要求がある。特許文献１においては、演奏者による演奏を各種のセンサにより検出する必要があるから、前述の要求に沿う動画を生成することは現実的には困難である。以上の事情を考慮して、本開示のひとつの態様は、所望の演奏者が所望の鍵盤楽器を演奏しているかのような動画を簡便に生成することを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために、本開示のひとつの態様に係る動画処理方法は、演奏者による第１鍵盤楽器の演奏を表す演奏動画から前記演奏者の手を含む第１参照部分を抽出し、第２鍵盤楽器の鍵盤部分に前記第１参照部分を重畳することで合成動画を生成する。
【図面の簡単な説明】
【０００６】
第１実施形態における映像システムのブロック図である。
表示システムのブロック図である。
演奏動画の模式図である。
動画処理システムの機能的な構成を例示するブロック図である。
合成動画の模式図である。
仮想空間の模式図である。
動画生成処理のフローチャートである。
第２実施形態における演奏動画の模式図である。
第２実施形態における合成動画の模式図である。
第２実施形態における仮想空間の模式図である。
第２実施形態における動画生成処理のフローチャートである。
深度情報を利用した深度制御の説明図である。
第３実施形態における動画生成処理のフローチャートである。
第４実施形態における表示ユニットのブロック図である。
第４実施形態における動画生成処理のフローチャートである。
変形例における合成動画の模式図である。
【発明を実施するための形態】
【０００７】
Ａ：第１実施形態
図１は、第１実施形態に係る映像システム１００の構成を例示するブロック図である。第１実施形態の映像システム１００は、特定の演奏者（以下「目標演奏者Ｐ」という）が鍵盤楽器を演奏する動画（以下「合成動画Ｙ」という）を利用者Ｕに提供するためのコンピュータシステムである。映像システム１００は、動画処理システム１０と表示ユニット２０とを具備する。
【０００８】
表示ユニット２０は、利用者Ｕの頭部に装着される映像機器（ＨＭＤ：Head Mounted Display）である。例えばゴーグル型またはメガネ型のＨＭＤが、表示ユニット２０として利用される。図２は、表示ユニット２０の構成を例示するブロック図である。第１実施形態の表示ユニット２０は、通信装置２１と検出装置２２と表示装置２３とを具備する。
【０００９】
検出装置２２は、表示ユニット２０の方向に応じた検出信号Ｑを出力するセンサである。具体的には、検出装置２２は、角速度を検知するジャイロセンサ、または加速度を検知する加速度センサ等のセンサで構成される。前述の通り、表示ユニット２０は利用者Ｕの頭部に装着されるから、検出装置２２が生成する検出信号Ｑは、利用者Ｕの頭部の方向を表す信号とも表現される。
【００１０】
通信装置２１は、動画処理システム１０との間で有線または無線により通信する。例えば、通信装置２１は、検出装置２２が生成した検出信号Ｑを動画処理システム１０に送信する。また、通信装置２１は、合成動画Ｙを表す動画データＶyを動画処理システム１０から受信する。
（【００１１】以降は省略されています）

関連特許