特許ウォッチ

公開番号2024059030
公報種別公開特許公報(A)
公開日2024-04-30
出願番号2022166511
出願日2022-10-17
発明の名称端末装置、画像表示方法、及びプログラム
出願人トヨタ自動車株式会社
代理人個人,個人,個人,個人
主分類G06F 3/0481 20220101AFI20240422BHJP(計算;計数)
要約【課題】ユーザに、別の空間にいる他のユーザの身体動作を認識させやすくする。
【解決手段】端末装置は、仮想3次元空間内に配置された、仮想光源と、第1ディスプレイ36に対応する表示オブジェクトと、第1ディスプレイ36に表示された第1画像11を操作する第1ユーザ61に対応するユーザオブジェクトとの間の位置関係に基づき、ユーザオブジェクトの影の画像を第2画像12として生成し、第2ユーザ62に向けて第2ディスプレイ46に第1画像11を表示するとともに第2ディスプレイ46で第1画像11に第2画像12を重畳し、第1ユーザ61の相対位置の変化を検知すると、検知した変化に応じて、ユーザオブジェクトの相対位置を調整し、調整の結果として生じる位置関係の変化に基づき、第2画像12を更新し、第2画像12の更新を第2ディスプレイ46に反映する制御部を備える。
【選択図】図2
特許請求の範囲【請求項１】
仮想３次元空間内に配置された、仮想光源と、第１ディスプレイに対応する表示オブジェクトと、前記第１ディスプレイに表示された第１画像を操作する第１ユーザに対応するユーザオブジェクトとの間の位置関係に基づき、前記表示オブジェクトにできる前記ユーザオブジェクトの影の画像を第２画像として生成し、前記第１ユーザがいる第１空間とは別個の第２空間にいる第２ユーザに向けて第２ディスプレイに前記第１画像を表示するとともに前記第２ディスプレイで前記第１画像に前記第２画像を重畳し、前記第１ディスプレイに対する前記第１ユーザの相対位置の変化を検知すると、検知した変化に応じて、前記表示オブジェクトに対する前記ユーザオブジェクトの相対位置を調整し、調整の結果として生じる前記位置関係の変化に基づき、前記第２画像を更新し、前記第２画像の更新を前記第２ディスプレイに反映する制御部を備える端末装置。
続きを表示（約 1,200 文字）【請求項２】
前記第１ユーザが使用する他の端末装置と通信を行う通信部を更に備え、
前記制御部は、前記通信部を介して前記第１ユーザの深度画像を受信し、受信した深度画像を参照して、前記第１ディスプレイに対する前記第１ユーザの相対位置を特定する請求項１に記載の端末装置。
【請求項３】
前記制御部は、前記第２ディスプレイに対する、前記第２空間内に設置された光源の相対位置に応じて、前記表示オブジェクトに対する前記仮想光源の相対位置を設定する請求項１に記載の端末装置。
【請求項４】
前記ユーザオブジェクトは、前記第１ユーザの腕を表すオブジェクトを含む請求項１に記載の端末装置。
【請求項５】
垂直方向に延びる垂直表示面と、前記垂直表示面の下端に隣接し、水平方向に延びる水平表示面とを有し、前記第２ディスプレイに相当する側面視Ｌ字状のディスプレイを更に備え、
前記制御部は、前記水平表示面に前記第１画像及び前記第２画像を表示する請求項１に記載の端末装置。
【請求項６】
前記第１画像は、前記第１ユーザが手書きする文字の画像を含む請求項１に記載の端末装置。
【請求項７】
前記制御部は、前記第２ディスプレイに前記第１画像を表示する際に、前記文字の画像を黒以外の色で表示する請求項６に記載の端末装置。
【請求項８】
前記制御部は、前記文字の画像を朱色で表示する請求項７に記載の端末装置。
【請求項９】
仮想３次元空間内に配置された、仮想カメラと、第１ディスプレイに表示された第１画像を操作する第１ユーザに対応するユーザオブジェクトとの位置関係、及び前記仮想カメラの方向に基づき、前記仮想カメラで捉えられる前記ユーザオブジェクトの画像を第２画像として生成し、前記第１ユーザがいる第１空間とは別個の第２空間にいる第２ユーザに向けて第２ディスプレイに前記第１画像を表示するとともに前記第２ディスプレイで前記第１画像に前記第２画像を重畳し、前記第２ユーザの視線の変化を検知すると、検知した変化に応じて、前記仮想カメラの方向を調整し、調整後の前記仮想カメラの方向に基づき、前記第２画像を更新し、前記第２画像の更新を前記第２ディスプレイに反映する制御部を備える端末装置。
【請求項１０】
前記制御部は、前記第１ディスプレイに対する前記第１ユーザの相対位置の変化に応じて、前記仮想３次元空間内に配置された、前記第１ディスプレイに対応する表示オブジェクトに対する前記ユーザオブジェクトの相対位置を調整し、調整の結果として生じる前記位置関係の変化に基づき、前記第２画像を更新し、前記第２画像の更新を前記第２ディスプレイに反映する請求項９に記載の端末装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、端末装置、画像表示方法、及びプログラムに関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
特許文献１には、仮想空間に配置したアバターオブジェクトの視点を他のアバターオブジェクトに共有させるプログラムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０１９－１９２１７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
生徒が遠隔地にいる教師から、書道レッスンなど、身体動作を伴うレッスンを受けるサービスを実現するために遠隔対話システムを利用することが考えられる。しかしながら、従来のシステムでは、生徒に教師の身体動作を認識させにくい。
【０００５】
本開示の目的は、ユーザに、別の空間にいる他のユーザの身体動作を認識させやすくすることである。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る端末装置は、
仮想３次元空間内に配置された、仮想光源と、第１ディスプレイに対応する表示オブジェクトと、前記第１ディスプレイに表示された第１画像を操作する第１ユーザに対応するユーザオブジェクトとの間の位置関係に基づき、前記表示オブジェクトにできる前記ユーザオブジェクトの影の画像を第２画像として生成し、前記第１ユーザがいる第１空間とは別個の第２空間にいる第２ユーザに向けて第２ディスプレイに前記第１画像を表示するとともに前記第２ディスプレイで前記第１画像に前記第２画像を重畳し、前記第１ディスプレイに対する前記第１ユーザの相対位置の変化を検知すると、検知した変化に応じて、前記表示オブジェクトに対する前記ユーザオブジェクトの相対位置を調整し、調整の結果として生じる前記位置関係の変化に基づき、前記第２画像を更新し、前記第２画像の更新を前記第２ディスプレイに反映する制御部を備える。
【０００７】
本開示の別の態様に係る端末装置は、
仮想３次元空間内に配置された、仮想カメラと、第１ディスプレイに表示された第１画像を操作する第１ユーザに対応するユーザオブジェクトとの位置関係、及び前記仮想カメラの方向に基づき、前記仮想カメラで捉えられる前記ユーザオブジェクトの画像を第２画像として生成し、前記第１ユーザがいる第１空間とは別個の第２空間にいる第２ユーザに向けて第２ディスプレイに前記第１画像を表示するとともに前記第２ディスプレイで前記第１画像に前記第２画像を重畳し、前記第２ユーザの視線の変化を検知すると、検知した変化に応じて、前記仮想カメラの方向を調整し、調整後の前記仮想カメラの方向に基づき、前記第２画像を更新し、前記第２画像の更新を前記第２ディスプレイに反映する制御部を備える。
【０００８】
本開示に係る画像表示方法は、
仮想３次元空間内に配置された、仮想光源と、第１ディスプレイに対応する表示オブジェクトと、前記第１ディスプレイに表示された第１画像を操作する第１ユーザに対応するユーザオブジェクトとの間の位置関係、又は前記仮想３次元空間内に配置された、仮想カメラと、前記ユーザオブジェクトとの位置関係、及び前記仮想カメラの方向に基づき、前記表示オブジェクトにできる前記ユーザオブジェクトの影の画像、又は前記仮想カメラで捉えられる前記ユーザオブジェクトの画像を第２画像として生成することと、
前記第１ユーザがいる第１空間とは別個の第２空間にいる第２ユーザに向けて第２ディスプレイに前記第１画像を表示することと、
前記第２ディスプレイで前記第１画像に前記第２画像を重畳することと、
前記第１ディスプレイに対する前記第１ユーザの相対位置の変化、又は前記第２ユーザの視線の変化を検知すると、検知した変化に応じて、前記表示オブジェクトに対する前記ユーザオブジェクトの相対位置、又は前記仮想カメラの方向を調整することと、
調整の結果として生じる前記位置関係の変化、又は調整後の前記仮想カメラの方向に基づき、前記第２画像を更新することと、
前記第２画像の更新を前記第２ディスプレイに反映することと
を含む。
【発明の効果】
【０００９】
本開示によれば、ユーザに、別の空間にいる他のユーザの身体動作を認識させやすくなる。
【図面の簡単な説明】
【００１０】
本開示の第１実施形態及び第２実施形態に係る通信システムの構成を示すブロック図である。
本開示の第１実施形態に係る第１空間及び第２空間を示す図である。
本開示の第１実施形態に係る仮想３次元空間を示す図である。
本開示の第１実施形態に係る第２端末装置の動作を示すフローチャートである。
本開示の第２実施形態に係る第１空間及び第２空間を示す図である。
本開示の第２実施形態に係る仮想３次元空間を示す図である。
本開示の第２実施形態に係る第２端末装置の動作を示すフローチャートである。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許