特許ウォッチ

公開番号2025019530
公報種別公開特許公報(A)
公開日2025-02-07
出願番号2023123183
出願日2023-07-28
発明の名称映像表示装置、映像表示方法、及びプログラム
出願人株式会社計数技研
代理人個人,個人
主分類G09B 5/02 20060101AFI20250131BHJP(教育;暗号方法;表示;広告;シール)
要約【課題】参照映像と同様の撮影環境を用意しなくても、参照映像と比較可能な自己映像を表示することができる映像表示装置を提供する。
【解決手段】映像表示装置1は、ユーザが動作を模倣する対象となる模倣対象の動作の映像である参照映像が記憶される記憶部11と、ユーザの動作の映像である第1の自己映像を取得する映像取得部12と、第1の自己映像のユーザの骨格認識を行う骨格認識部13と、ユーザの動作に応じて動く3次元オブジェクトの映像である第2の自己映像を、骨格認識の結果を用いて、参照映像を撮影する参照映像用カメラと模倣対象との相対的な位置関係と、3次元オブジェクトの映像の視点と3次元オブジェクトとの相対的な位置関係とが同じになるように生成する生成部14と、参照映像及び第2の自己映像を表示する表示部15とを備える。
【選択図】図1
特許請求の範囲【請求項１】
ユーザが動作を模倣する対象となる模倣対象の動作の映像である参照映像が記憶される記憶部と、
ユーザの動作の映像である第１の自己映像を取得する映像取得部と、
前記第１の自己映像に含まれるユーザの骨格認識を行う骨格認識部と、
前記模倣対象に対応する３次元オブジェクトであり、前記ユーザの動作に応じて動く３次元オブジェクトの映像である第２の自己映像を、前記骨格認識部による骨格認識の結果を用いて、前記参照映像を撮影する参照映像用カメラと前記模倣対象との相対的な位置関係と、前記３次元オブジェクトの映像の視点と前記３次元オブジェクトとの相対的な位置関係とが同じになるように生成する生成部と、
前記参照映像及び前記第２の自己映像を表示する表示部と、を備え、
前記参照映像用カメラと前記模倣対象との相対的な位置関係と、前記第１の自己映像を撮影する自己映像用カメラと前記模倣対象に対応する前記ユーザの部分との相対的な位置関係とは異なる、映像表示装置。
続きを表示（約 1,700 文字）【請求項２】
前記生成部は、前記骨格認識部による骨格認識の結果の視線方向を、設定されている角度だけ変化させた第２の自己映像を生成する、請求項１記載の映像表示装置。
【請求項３】
前記参照映像は、前記模倣対象を動作させる被模倣者の視点からの映像であり、
前記生成部は、前記ユーザの視点からの映像である第２の自己映像を生成する、請求項１記載の映像表示装置。
【請求項４】
前記模倣対象は、形状が変化する操作対象物を含み、
前記第１の自己映像は、前記ユーザの手を含んでおり、
前記生成部は、前記第１の自己映像に含まれる前記ユーザの手のジェスチャに応じて形状が変化する操作対象物の３次元オブジェクトを含む第２の自己映像を生成する、請求項１記載の映像表示装置。
【請求項５】
前記模倣対象は、形状が変化する操作対象物を含み、
前記ユーザによって操作されるコントローラからの指示を受け付ける受付部をさらに備え、
前記生成部は、前記受付部によって受け付けられた指示に応じて形状が変化する操作対象物の３次元オブジェクトを含む第２の自己映像を生成する、請求項１記載の映像表示装置。
【請求項６】
前記表示部は、前記参照映像と前記第２の自己映像とを合成して表示する、請求項１から請求項５のいずれか記載の映像表示装置。
【請求項７】
前記自己映像用カメラと、前記参照映像と前記第２の自己映像とが表示される表示デバイスとは、光軸方向における前記自己映像用カメラから撮影対象への向きと、前記表示デバイスを正視する視線の向きとが逆になるように配置されている、請求項１から請求項５のいずれか記載の映像表示装置。
【請求項８】
ユーザが動作を模倣する対象となる模倣対象の動作の映像である参照映像が記憶される記憶部と、映像取得部と、骨格認識部と、生成部と、表示部とを用いて処理される映像表示方法であって、
前記映像取得部が、ユーザの動作の映像である第１の自己映像を取得するステップと、
前記骨格認識部が、前記第１の自己映像に含まれるユーザの骨格認識を行うステップと、
前記生成部が、前記模倣対象に対応する３次元オブジェクトであり、前記ユーザの動作に応じて動く３次元オブジェクトの映像である第２の自己映像を、前記骨格認識の結果を用いて、前記参照映像を撮影する参照映像用カメラと前記模倣対象との相対的な位置関係と、前記３次元オブジェクトの映像の視点と前記３次元オブジェクトとの相対的な位置関係とが同じになるように生成するステップと、
前記表示部が、前記参照映像及び前記第２の自己映像を表示するステップと、を備え、
前記参照映像用カメラと前記模倣対象との相対的な位置関係と、前記第１の自己映像を撮影する自己映像用カメラと前記模倣対象に対応する前記ユーザの部分との相対的な位置関係とは異なる、映像表示方法。
【請求項９】
ユーザが動作を模倣する対象となる模倣対象の動作の映像である参照映像が記憶される記憶部にアクセス可能なコンピュータを、
ユーザの動作の映像である第１の自己映像を取得する映像取得部、
前記第１の自己映像に含まれるユーザの骨格認識を行う骨格認識部、
前記模倣対象に対応する３次元オブジェクトであり、前記ユーザの動作に応じて動く３次元オブジェクトの映像である第２の自己映像を、前記骨格認識部による骨格認識の結果を用いて、前記参照映像を撮影する参照映像用カメラと前記模倣対象との相対的な位置関係と、前記３次元オブジェクトの映像の視点と前記３次元オブジェクトとの相対的な位置関係とが同じになるように生成する生成部、
前記参照映像及び前記第２の自己映像を表示する表示部として機能させ、
前記参照映像用カメラと前記模倣対象との相対的な位置関係と、前記第１の自己映像を撮影する自己映像用カメラと前記模倣対象に対応する前記ユーザの部分との相対的な位置関係とは異なる、プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、ユーザが動作を模倣する対象となる模倣対象の動作の映像と、ユーザの動作に応じた映像とを表示する映像表示装置等に関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
従来、手術などの動きの学習のために、学習者が模倣する対象となる模倣対象の動作の映像である参照映像と、学習者の動作の映像である自己映像とを合成して表示する学習支援装置が知られている（例えば、特許文献１参照）。このような表示を参照することにより、学習者は、模倣対象の動作と同じ動作を行うためのトレーニングを行うことができる。
【先行技術文献】
【特許文献】
【０００３】
特開２０１４－０７１４４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の学習支援装置では、参照映像と自己映像とを比較可能な映像にするため、両映像について、撮影を行うカメラと撮影対象との相対的な位置関係が同じになるようにする必要があった。例えば、参照映像が、模倣対象の動作を行う教師役が装着しているヘッドマウントカメラで撮影された一人称映像である場合には、自己映像も学習者が装着しているヘッドマウントカメラで撮影された一人称映像とする必要があった。このように、学習者も、参照映像と同様の撮影環境を用意する必要があり、そのためのコストや時間がかかるという問題があった。
【０００５】
本発明は、上記課題を解決するためになされたものであり、参照映像と同様の撮影環境を用意しなくても、参照映像と比較可能な自己映像を表示することができる映像表示装置等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様による映像表示装置は、ユーザが動作を模倣する対象となる模倣対象の動作の映像である参照映像が記憶される記憶部と、ユーザの動作の映像である第１の自己映像を取得する映像取得部と、第１の自己映像に含まれるユーザの骨格認識を行う骨格認識部と、模倣対象に対応する３次元オブジェクトであり、ユーザの動作に応じて動く３次元オブジェクトの映像である第２の自己映像を、骨格認識部による骨格認識の結果を用いて、参照映像を撮影する参照映像用カメラと模倣対象との相対的な位置関係と、３次元オブジェクトの映像の視点と３次元オブジェクトとの相対的な位置関係とが同じになるように生成する生成部と、参照映像及び第２の自己映像を表示する表示部と、を備え、参照映像用カメラと模倣対象との相対的な位置関係と、第１の自己映像を撮影する自己映像用カメラと模倣対象に対応するユーザの部分との相対的な位置関係とは異なる、ものである。
【０００７】
このような構成により、参照映像と同様の撮影環境を用意しなくても、参照映像と比較可能な第２の自己映像を表示することができる。例えば、ノートパソコンやタブレット端末、スマートフォンなどのユーザに対面するカメラによって撮影された第１の自己映像から、ユーザの一人称視点の第２の自己映像を生成して表示することができるようになる。
【０００８】
また、本発明の一態様による映像表示装置では、生成部は、骨格認識部による骨格認識の結果の視線方向を、設定されている角度だけ変化させた第２の自己映像を生成してもよい。
【０００９】
このような構成により、例えば、ユーザに対面するカメラによって撮影された第１の自己映像から、ユーザの一人称視点の第２の自己映像を生成することができる。
【００１０】
また、本発明の一態様による映像表示装置では、参照映像は、模倣対象を動作させる被模倣者の視点からの映像であり、生成部は、ユーザの視点からの映像である第２の自己映像を生成してもよい。
（【００１１】以降は省略されています）

関連特許