特許ウォッチ

公開番号2025055839
公報種別公開特許公報(A)
公開日2025-04-08
出願番号2023165224
出願日2023-09-27
発明の名称表示制御装置、表示システム及びプログラム
出願人KDDI株式会社
代理人個人,個人,個人
主分類G06T 19/00 20110101AFI20250401BHJP(計算;計数)
要約【課題】ユーザが表示装置の正面に存在しない場合であっても、利用者視点と、表示画像とを一致させ、没入感を得られるようにする。
【解決手段】表示制御装置は、表示対象物を表示装置へ表示することを制御する表示制御部と、表示装置と剛性連結された撮像装置により撮像された画像であって、使用者の顔が撮像された画像を取得する画像取得部と、使用者の視点と表示装置との相対的な位置関係を算出する視点相対位置算出部と、重力方向の加速度及びその方位角に関する情報を取得する重力情報取得部と、自装置が存在する位置情報を取得する初期位置情報取得部と、加速度情報を取得する加速度情報取得部と、表示装置が像を射影する射影面の絶対位置を算出し、使用者の絶対的な位置座標を算出し、射影面が向く方向を算出するベクトル算出部を備え、表示制御部は、ベクトル算出部により算出された情報に基づいて表示対象物の三次元情報を変形させる。
【選択図】図9
特許請求の範囲【請求項１】
三次元情報を有する表示対象物を、表示装置へ表示することを制御する表示制御部と、
前記表示装置と剛性連結された撮像装置により撮像された画像であって、前記表示装置に表示された前記表示対象物を見る使用者の顔が撮像された画像を取得する画像取得部と、
取得した前記画像に基づき、前記使用者の視点と、前記表示装置との相対的な位置関係を算出する視点相対位置算出部と、
重力方向の加速度及びその方位角に関する情報を取得する重力情報取得部と、
所定の地点を原点としたときの、自装置が存在する位置情報を取得する初期位置情報取得部と、
自装置の加速度情報を取得する加速度情報取得部と、
前記初期位置情報取得部により取得された位置情報と、前記加速度情報取得部により取得された加速度情報とに基づき、前記表示装置が像を射影する射影面の絶対位置を算出し、算出された前記射影面の絶対位置と、前記視点相対位置算出部により算出された前記使用者の視点と前記表示装置との相対的な位置関係とに基づき、前記使用者の視点の絶対的な位置座標を算出し、算出された前記射影面の絶対位置と、前記重力情報取得部により取得された重力情報と、前記加速度情報取得部により取得された前記加速度情報とに基づき、前記射影面が向く方向のベクトルを算出するベクトル算出部と、
を備え、
前記表示制御部は、前記ベクトル算出部により算出された情報に基づいて、前記表示対象物の三次元情報を変形させ、前記表示装置への表示を制御する
表示制御装置。
続きを表示（約 1,200 文字）【請求項２】
前記視点相対位置算出部は、予め取得された前記使用者の属性に基づき、前記使用者の視点と前記表示装置との相対的な位置関係を算出する
請求項１に記載の表示制御装置。
【請求項３】
前記視点相対位置算出部は、前記画像取得部により取得された前記画像に基づき、前記使用者の瞳孔間の距離を計測し、計測された前記使用者の瞳孔間の距離に基づき、前記使用者の視点と前記表示装置との相対的な位置関係を算出する
請求項１に記載の表示制御装置。
【請求項４】
前記視点相対位置算出部は、前記画像取得部により取得された前記画像に基づき、前記使用者の瞳孔間距離と、瞳孔間画角とを計測し、計測された前記使用者の瞳孔間距離と、瞳孔間画角とに基づき、前記使用者の視点と前記表示装置との相対的な位置関係を算出する
請求項３に記載の表示制御装置。
【請求項５】
前記視点相対位置算出部は、予め記憶された前記使用者の瞳孔間距離と、前記画像取得部により取得された前記画像から計測された前記使用者の瞳孔間距離とに基づき、前記使用者の視点と前記表示装置との相対的な位置関係を算出する
請求項３に記載の表示制御装置。
【請求項６】
前記視点相対位置算出部は、前記画像取得部により取得された前記画像に基づいて得られた前記使用者の左右の瞳孔又は虹彩の大きさの比率の変化に応じて、前記使用者の視点と前記表示装置との相対的な位置関係を更新する
請求項１に記載の表示制御装置。
【請求項７】
前記表示制御部は、複数の前記表示対象物を前記表示装置へ表示し、
複数の前記表示対象物それぞれの仮想的位置に基づいて、それぞれ異なる誤差を付与する誤差付与部を更に備え、
前記表示制御部は、付与された誤差の範囲で前記表示対象物と背景との相対関係を変動させることにより、複数の前記表示対象物の前記表示装置への表示を制御する
請求項１に記載の表示制御装置。
【請求項８】
前記表示制御部は、付与された誤差の範囲で前記表示対象物を表示させる位置を変動させることにより、複数の前記表示対象物の前記表示装置への表示を制御する
請求項７に記載の表示制御装置。
【請求項９】
前記表示制御部は、付与された誤差の範囲で前記表示対象物を表示させる位置を、所定の一方向に変動させることにより、複数の前記表示対象物の前記表示装置への表示を制御する
請求項７に記載の表示制御装置。
【請求項１０】
前記表示制御部は、前記表示装置からそれぞれ異なる距離に存在する複数の前記表示対象物を前記表示装置へ表示し、
複数の前記表示対象物は、前記表示装置からの距離に応じて、異なる表示タイミングにより表示される
請求項１に記載の表示制御装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、表示制御装置、表示システム及びプログラムに関する。
続きを表示（約 5,700 文字）【背景技術】
【０００２】
従来、仮想空間に存在する物体の三次元情報を、スマートフォンやタブレット端末装置等の表示装置に表示する技術があった。ユーザは、このような技術が用いられた表示装置による表示を見ることにより、表示装置を通して仮想的な物体が存在するかのような感覚を得ることが可能となる。例えば、このような技術が用いられた装置の一例として、仮想空間における物体の三次元情報を、現実世界の画像に合成可能な画像処理装置が開示されている（特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
特開２０２２－１１３２６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような技術によれば、ユーザが表示装置を正面から見ることが前提として、仮想空間における物体の三次元情報が表示装置に表示される。しかしながら、ユーザの視点が固定されたまま、表示装置のみが移動したり、表示装置の角度が変化したりする場合がある。このような場合、ユーザの視線が固定されているため、ユーザは、表示装置を通して同一の仮想的な物体を見続けることを期待する。一方、装置が行う制御としては、ユーザが正面に存在することが前提となっているため、ユーザが期待する画像と実際に表示される画像とが一致しなくなってしまう。したがって、ユーザは、表示装置を通して仮想的な物体を見ても、当該物体があたかもそこに存在しているかのような感覚を得ることができず、仮想世界への没入感を得ることが難しかった。換言すれば、従来技術には、ユーザが表示装置の正面に存在しない場合、利用者視点と、表示画像とが一致しないといった課題があった。
【０００５】
本発明は、このような事情を考慮してなされたものであり、その目的は、ユーザが表示装置の正面に存在しない場合であっても、利用者視点と、表示画像とが一致し、仮想世界への没入感を得ることが可能な表示制御装置、表示システム及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
（１）本発明の一態様は、三次元情報を有する表示対象物を、表示装置へ表示することを制御する表示制御部と、前記表示装置と剛性連結された撮像装置により撮像された画像であって、前記表示装置に表示された前記表示対象物を見る使用者の顔が撮像された画像を取得する画像取得部と、取得した前記画像に基づき、前記使用者の視点と、前記表示装置との相対的な位置関係を算出する視点相対位置算出部と、重力方向の加速度及びその方位角に関する情報を取得する重力情報取得部と、所定の地点を原点としたときの、自装置が存在する位置情報を取得する初期位置情報取得部と、自装置の加速度情報を取得する加速度情報取得部と、前記初期位置情報取得部により取得された位置情報と、前記加速度情報取得部により取得された加速度情報とに基づき、前記表示装置が像を射影する射影面の絶対位置を算出し、算出された前記射影面の絶対位置と、前記視点相対位置算出部により算出された前記使用者の視点と前記表示装置との相対的な位置関係とに基づき、前記使用者の視点の絶対的な位置座標を算出し、算出された前記射影面の絶対位置と、前記重力情報取得部により取得された重力情報と、前記加速度情報取得部により取得された前記加速度情報とに基づき、前記射影面が向く方向のベクトルを算出するベクトル算出部と、を備え、前記表示制御部は、前記ベクトル算出部により算出された情報に基づいて、前記表示対象物の三次元情報を変形させ、前記表示装置への表示を制御する表示制御装置である。
（２）また、本発明の一態様は、上述した（１）の表示制御装置において、前記視点相対位置算出部は、予め取得された前記使用者の属性に基づき、前記使用者の視点と前記表示装置との相対的な位置関係を算出するものである。
（３）また、本発明の一態様は、上述した（１）の表示制御装置において、前記視点相対位置算出部は、前記画像取得部により取得された前記画像に基づき、前記使用者の瞳孔間の距離を計測し、計測された前記使用者の瞳孔間の距離に基づき、前記使用者の視点と前記表示装置との相対的な位置関係を算出するものである。
（４）また、本発明の一態様は、上述した（３）の表示制御装置において、前記視点相対位置算出部は、前記画像取得部により取得された前記画像に基づき、前記使用者の瞳孔間距離と、瞳孔間画角とを計測し、計測された前記使用者の瞳孔間距離と、瞳孔間画角とに基づき、前記使用者の視点と前記表示装置との相対的な位置関係を算出するものである。
（５）また、本発明の一態様は、上述した（３）の表示制御装置において、前記視点相対位置算出部は、予め記憶された前記使用者の瞳孔間距離と、前記画像取得部により取得された前記画像から計測された前記使用者の瞳孔間距離とに基づき、前記使用者の視点と前記表示装置との相対的な位置関係を算出するものである。
（６）また、本発明の一態様は、上述した（１）から（５）のいずれかの表示制御装置において、前記視点相対位置算出部は、前記画像取得部により取得された前記画像に基づいて得られた前記使用者の左右の瞳孔又は虹彩の大きさの比率の変化に応じて、前記使用者の視点と前記表示装置との相対的な位置関係を更新するものである。
（７）また、本発明の一態様は、上述した（１）から（６）のいずれかの表示制御装置において、前記表示制御部は、複数の前記表示対象物を前記表示装置へ表示し、複数の前記表示対象物それぞれの仮想的位置に基づいて、それぞれ異なる誤差を付与する誤差付与部を更に備え、前記表示制御部は、付与された誤差の範囲で前記表示対象物と背景との相対関係を変動させることにより、複数の前記表示対象物の前記表示装置への表示を制御するものである。
（８）また、本発明の一態様は、上述した（７）の表示制御装置において、前記表示制御部は、付与された誤差の範囲で前記表示対象物を表示させる位置を変動させることにより、複数の前記表示対象物の前記表示装置への表示を制御するものである。
（９）また、本発明の一態様は、上述した（７）の表示制御装置において、前記表示制御部は、付与された誤差の範囲で前記表示対象物を表示させる位置を、所定の一方向に変動させることにより、複数の前記表示対象物の前記表示装置への表示を制御するものである。
（１０）また、本発明の一態様は、上述した（１）の表示制御装置において、前記表示制御部は、前記表示装置からそれぞれ異なる距離に存在する複数の前記表示対象物を前記表示装置へ表示し、複数の前記表示対象物は、前記表示装置からの距離に応じて、異なる表示タイミングにより表示されるものである。
（１１）また、本発明の一態様は、上述した（１）から（１０）のいずれかの表示制御装置と、使用者の顔を撮像し、撮像した前記画像を前記画像取得部に提供する前記撮像装置と、前記表示制御部により制御される前記表示装置とを備える表示システムである。
（１２）また、本発明の一態様は、コンピュータに、三次元情報を有する表示対象物を、表示装置へ表示することを制御する表示制御ステップと、前記表示装置と剛性連結された撮像装置により撮像された画像であって、前記表示装置に表示された前記表示対象物を見る使用者の顔が撮像された画像を取得する画像取得ステップと、取得した前記画像に基づき、前記使用者の視点と、前記表示装置との相対的な位置関係を算出する視点相対位置算出ステップと、重力方向の加速度及びその方位角に関する情報を取得する重力情報取得ステップと、所定の地点を原点としたときの、自装置が存在する位置情報を取得する初期位置情報取得ステップと、自装置の加速度情報を取得する加速度情報取得ステップと、前記初期位置情報取得ステップにより取得された位置情報と、前記加速度情報取得ステップにより取得された加速度情報とに基づき、前記表示装置が像を射影する射影面の絶対位置を算出し、算出された前記射影面の絶対位置と、前記視点相対位置算出ステップにより算出された前記使用者の視点と前記表示装置との相対的な位置関係とに基づき、前記使用者の視点の絶対的な位置座標を算出し、算出された前記射影面の絶対位置と、前記重力情報取得ステップにより取得された重力情報と、前記加速度情報取得ステップにより取得された前記加速度情報とに基づき、前記射影面が向く方向のベクトルを算出するベクトル算出ステップと、を実行させるプログラムであって、前記表示制御ステップは、前記ベクトル算出ステップにより算出された情報に基づいて、前記表示対象物の三次元情報を変形させ、前記表示装置への表示を制御するプログラムである。
【発明の効果】
【０００７】
本発明によれば、ユーザが表示装置の正面に存在しない場合であっても、利用者視点と、表示画像とを一致させることができ、仮想世界への没入感を得ることができるという効果が得られる。
【図面の簡単な説明】
【０００８】
一実施形態に係る表示システムが表示する像の変化について説明するための図である。
本実施形態に係る表示システムが表示する仮想オブジェクトについて説明するための図である。
本実施形態に係る表示システムにより撮像された画像に基づくユーザの視点の解析処理の一例について説明するための第１の図である。
本実施形態に係る表示システムにより撮像された画像に基づくユーザの視点の解析処理の一例について説明するための第２の図である。
本実施形態に係る表示システムのイメージについて説明するための図である。
本実施形態に係る表示システムが解析する情報の過不足について説明するための図である。
本実施形態に係る表示システムにより算出されるベクトルについて説明するための図である。
本実施形態に係る表示システムを実現するための機能ブロックの一例について示すブロック図である。
本実施形態に係る表示制御装置の機能構成の一例について示す機能構成図である。
本実施形態に係る表示制御装置の機能構成の変形例について示す機能構成図である。
本実施形態に係る表示システムにおいて、ユーザの顔が傾いた場合の考え方について説明するための図である。
本実施形態に係る表示制御装置の内部構成の一例を示すブロック図である。
従来技術に係る拡張現実又は複合現実の技術を用いて、スマートフォンに仮想オブジェクトを表示しようとした場合、スマートフォンの傾きの変化に応じた座標軸の変化について説明するための図である。
従来技術に係る仮想現実の技術を用いて、スマートグラスに仮想オブジェクトを表示しようとした場合、スマートグラスの傾きの変化に応じた座標軸の変化について説明するための図である。
従来技術を用いてスマートフォンに仮想オブジェクトを表示する場合において、スマートフォンが傾いた場合における仮想オブジェクトの見え方の変化について説明するための図である。
【発明を実施するための形態】
【０００９】
本発明の態様に係る表示制御装置、表示システム及びプログラムについて、好適な実施の形態を掲げ、添付の図面を参照しながら以下、詳細に説明する。なお、本発明の態様は、これらの実施の形態に限定されるものではなく、多様な変更または改良を加えたものも含まれる。つまり、以下に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれ、以下に記載した構成要素は適宜組み合わせることが可能である。また、本発明の要旨を逸脱しない範囲で構成要素の種々の省略、置換または変更を行うことができる。また、以下の図面においては、各構成をわかりやすくするために、各構造における縮尺および数等を、実際の構造における縮尺および数等と異ならせる場合がある。また、使用可能文字の関係上、以下に示す数式においてベクトル記号が付されているもの（英文字記号又はギリシャ文字で表された変数）については、本明細書の文章において、「ベクトル（英文字又はギリシャ文字）」と記載する場合がある。
【００１０】
［実施形態］
以下、図面を参照しながら、本発明の実施形態について説明する。まず、本発明の実施形態の前提となる事項について説明する。本発明に係る表示制御装置、表示システム及びプログラムは、拡張現実（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ：ＡＲ）、複合現実（ＭｉｘｅｄＲｅａｌｉｔｙ：ＭＲ）及び仮想現実（ＶｉｒｔｕａｌＲｅａｌｉｔｙ：ＶＲ）等の技術に用いることが可能である。本発明に係る表示制御装置、表示システム及びプログラムは、現実世界の画像（又は映像。以下、単に画像と記載する。）の上に、仮想的なオブジェクトを重畳させて表示することが可能である。現実世界の画像とは、ユーザが現実に見ている世界の画像であり、撮像装置により撮像されたものであってもよい。また、撮像装置により撮像された画像から特徴が抽出され、抽出された特徴に合わせて仮想的なオブジェクトが重畳されるものであってもよい。また、本実施形態によれば、位置情報、方位情報、及びジャイロ情報等に基づいて、装置の位置や方向を検出し、検出した位置及び方向等に基づいて表示を制御する。このような表示を行うことにより、ユーザは、没入感を得ることができる。
（【００１１】以降は省略されています）

関連特許