特許ウォッチ

公開番号2025011450
公報種別公開特許公報(A)
公開日2025-01-24
出願番号2023113573
出願日2023-07-11
発明の名称ヘッドマウントディスプレイ及び三次元画像生成方法
出願人株式会社JVCケンウッド
代理人個人,個人,個人
主分類H04N 7/18 20060101AFI20250117BHJP(電気通信技術)
要約【課題】違和感の少ない、ユーザのリアルタイムの表情の顔画像を生成することができるヘッドマウントディスプレイを提供する。
【解決手段】ヘッドマウントディスプレイ100の筐体10は、ユーザ70の両目を含む顔の部分的な領域を覆うことにより遮蔽領域を形成する。表示部11は筐体10内に設けられており、ユーザ70が両目で見る画像を表示する。可視光センサ13は、ユーザ70が位置する環境における可視光の色を検出する。遮蔽領域部分画像生成部24は、可視光センサ13が検出した、ユーザ70が位置する環境における可視光の色に相当する色を示す色画像を表示部11に表示している状態で、遮蔽領域における顔の部分的な領域を撮影した三次元の部分画像を生成する。
【選択図】図1
特許請求の範囲【請求項１】
ユーザの両目を含む顔の部分的な領域を覆うことにより遮蔽領域を形成する筐体と、
前記筐体内に設けられており、前記ユーザが前記両目で見る画像を表示する表示部と、
前記ユーザが位置する環境における可視光の色を検出する可視光センサと、
前記可視光センサが検出した、前記ユーザが位置する環境における可視光の色に相当する色を示す色画像を前記表示部に表示している状態で、前記遮蔽領域における前記顔の前記部分的な領域を撮影した三次元の部分画像を生成する遮蔽領域部分画像生成部と、
を備えるヘッドマウントディスプレイ。
続きを表示（約 790 文字）【請求項２】
前記表示部に、前記ユーザが見る三次元の視聴画像を供給している状態で、所定の時間ごとに前記表示部に前記色画像を供給する画像切替部をさらに備え、
前記遮蔽領域部分画像生成部は、前記画像切替部が前記表示部に前記色画像を供給しているとき、前記部分画像を生成する
請求項１に記載のヘッドマウントディスプレイ。
【請求項３】
前記ヘッドマウントディスプレイを装着している前記ユーザを複数のカメラによって撮影した撮影画像に基づいて、前記ユーザの三次元画像を生成する三次元画像生成部と、
前記三次元画像より前記筐体で覆われている前記遮蔽領域を削除する遮蔽領域画像削除部と、
前記遮蔽領域が削除された前記三次元画像と前記部分画像とを合成して合成画像を生成する画像合成部と、
をさらに備える請求項１または２に記載のヘッドマウントディスプレイ。
【請求項４】
ヘッドマウントディスプレイを装着しているユーザを複数のカメラによって撮影することによって前記ユーザの三次元画像を生成し、
前記ユーザが位置する環境における可視光の色を可視光センサによって検出し、
前記ヘッドマウントディスプレイの表示部に、前記可視光センサが検出した、前記ユーザが位置する環境における可視光の色に相当する色を示す色画像を表示し、
前記表示部に前記色画像を表示している状態で、前記ヘッドマウントディスプレイによって覆われている遮蔽領域における、前記ユーザの両目を含む顔の部分的な領域を撮影することによって三次元の部分画像を生成し、
前記三次元画像より前記遮蔽領域を削除し、
前記遮蔽領域が削除された前記三次元画像と前記部分画像とを合成して合成画像を生成する
三次元画像生成方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、ヘッドマウントディスプレイ及び三次元画像生成方法に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
複数のユーザがヘッドマウントディスプレイを装着して、仮想空間画像を視聴することがある。このとき、ヘッドマウントディスプレイを装着するユーザを複数のカメラによって撮影した三次元画像を、仮想空間画像内に存在するアバターとすることがある。
【先行技術文献】
【特許文献】
【０００３】
特許第３４６４７５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のように、ヘッドマウントディスプレイを装着するユーザを撮影した三次元画像をアバターとすると、アバターは顔の一部がヘッドマウントディスプレイで覆われた状態となる。特許文献１には次のようなことが記載されている。予め、ヘッドマウントディスプレイを装着していない未装着状態のユーザの顔画像を撮影しておく。未装着状態のユーザの顔画像からヘッドマウントディスプレイで隠れる領域を切り出す。ヘッドマウントディスプレイを装着している顔画像のヘッドマウントディスプレイの領域を、切り出した領域の画像で置換する。
【０００５】
特許文献１に記載されている構成を採用すれば、顔の一部がヘッドマウントディスプレイで覆われていない状態のアバターとすることができる。しかしながら、ユーザのリアルタイムでの目の状態を表示することができないから、他のユーザが目の状態で表情を読み取ることができない。さらには、ヘッドマウントディスプレイを装着しているユーザを撮影しているときの環境と、未装着状態のユーザを撮影しているときの環境とが異なると、両者を合成した合成画像は違和感のある画像となることがある。
【０００６】
本発明は、違和感の少ない、ユーザのリアルタイムの表情の顔画像を生成することができるヘッドマウントディスプレイ及び三次元画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、ユーザの両目を含む顔の部分的な領域を覆うことにより遮蔽領域を形成する筐体と、前記筐体内に設けられており、前記ユーザが前記両目で見る画像を表示する表示部と、前記ユーザが位置する環境における可視光の色を検出する可視光センサと、前記可視光センサが検出した、前記ユーザが位置する環境における可視光の色に相当する色を示す色画像を前記表示部に表示している状態で、前記遮蔽領域における前記顔の前記部分的な領域を撮影した三次元の部分画像を生成する遮蔽領域部分画像生成部とを備えるヘッドマウントディスプレイを提供する。
【０００８】
本発明は、ヘッドマウントディスプレイを装着しているユーザを複数のカメラによって撮影することによって前記ユーザの三次元画像を生成し、前記ユーザが位置する環境における可視光の色を可視光センサによって検出し、前記ヘッドマウントディスプレイの表示部に、前記可視光センサが検出した、前記ユーザが位置する環境における可視光の色に相当する色を示す色画像を表示し、前記表示部に前記色画像を表示している状態で、前記ヘッドマウントディスプレイによって覆われている遮蔽領域における、前記ユーザの両目を含む顔の部分的な領域を撮影することによって三次元の部分画像を生成し、前記三次元画像より前記遮蔽領域を削除し、前記遮蔽領域が削除された前記三次元画像と前記部分画像とを合成して合成画像を生成する三次元画像生成方法を提供する。
【発明の効果】
【０００９】
本発明のヘッドマウントディスプレイ及び三次元画像生成方法によれば、違和感の少ない、ユーザのリアルタイムの表情の顔画像を生成することができる。
【図面の簡単な説明】
【００１０】
図１は、一実施形態に係るヘッドマウントディスプレイを示すブロック図である。
図２は、一実施形態に係るヘッドマウントディスプレイの動作、及び一実施形態に係る三次元画像生成方法が実行する処理を示す概念図である。
図３は、一実施形態に係るヘッドマウントディスプレイの動作、及び一実施形態に係る三次元画像生成方法を示すフローチャートである。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許