特許ウォッチ

公開番号2024161159
公報種別公開特許公報(A)
公開日2024-11-15
出願番号2024146593,2022567991
出願日2024-08-28,2020-12-10
発明の名称表示装置および表示方法
出願人マクセル株式会社
代理人弁理士法人筒井国際特許事務所
主分類G06F 3/01 20060101AFI20241108BHJP(計算;計数)
要約【課題】表示装置に関して、ユーザが視認したい実体物や仮想オブジェクト等のオブジェクトに対し他のオブジェクトによる遮蔽等による視認妨害がある場合に、その視認妨害を解消または軽減できる技術を提供する。
【解決手段】実施の形態の表示装置は、表示デバイスとプロセッサとを備え、表示デバイスに、オブジェクトとして、外界の実体物から切り出した個別実体オブジェクトと3次元配置される仮想オブジェクトとのうち少なくとも仮想オブジェクトを表示し、ユーザが注視を望むオブジェクトを目標オブジェクトとして確定し、ユーザが目標オブジェクトを視認する際に妨害となるオブジェクトを妨害オブジェクトとして検出し、妨害オブジェクトがある場合、目標オブジェクトの視認に対する妨害オブジェクトによる妨害を解消または低減するように、目標オブジェクトと妨害オブジェクトとのうち少なくとも一方のオブジェクトの表示態様の変更を行う。
【選択図】図1
特許請求の範囲【請求項１】
画像を表示する表示デバイスと、
前記画像の表示を制御するプロセッサと、
を備え、
前記表示デバイスに、オブジェクトとして、外界の実体物から切り出した個別実体オブジェクトと３次元配置される仮想オブジェクトとのうち少なくとも前記仮想オブジェクトを表示し、
ユーザの注視点を算出し、前記注視点の位置に対して最も近い前記オブジェクトを目標オブジェクトとして確定し、
前記目標オブジェクトと表示上の関連性が高い前記オブジェクトを、前記目標オブジェクトに対する関連オブジェクトとして設定し、
前記目標オブジェクトの画像領域と前記関連オブジェクトの画像領域とを１つに合わせた画像領域を目標視認範囲として設定し、
前記目標視認範囲の少なくとも一部を遮蔽する前記オブジェクトを妨害オブジェクトとして検出し、
前記妨害オブジェクトがある場合、前記目標視認範囲の視認に対する前記妨害オブジェクトによる妨害を解消または低減するように、前記目標視認範囲と前記妨害オブジェクトとのうち少なくとも一方のオブジェクトの表示態様の変更を行う、
表示装置。
続きを表示（約 1,400 文字）【請求項２】
請求項１記載の表示装置において、
前記目標オブジェクトと前記妨害オブジェクトとにおいて、前記オブジェクトの前記表示態様の変更に関する制限や許容の度合いを表す属性を比較して、少なくとも前記表示態様の変更を行う対象となるオブジェクトを決定する、
表示装置。
【請求項３】
請求項１記載の表示装置において、
前記表示態様の変更は、表示位置の移動、透過度の調整、縮小または拡大、あるいは、複製オブジェクトの表示である、
表示装置。
【請求項４】
請求項１記載の表示装置において、
前記ユーザの視線方向において前記オブジェクトとして複数のオブジェクトが重なる場合、それらのオブジェクトのうち視認価値が最も高いオブジェクトを前記目標オブジェクトとして確定する、
表示装置。
【請求項５】
請求項１記載の表示装置において、
前記表示デバイスに対応付けられた視界範囲内において前記オブジェクトとして複数のオブジェクトがある場合に、
前記ユーザによる入力操作で指定されたオブジェクトを前記目標オブジェクトとして確定する、
表示装置。
【請求項６】
請求項１記載の表示装置において、
前記目標視認範囲の少なくとも一部を遮蔽する前記オブジェクトを前記妨害オブジェクトとして検出する、
表示装置。
【請求項７】
請求項１記載の表示装置において、
前記ユーザの視線方向において前記オブジェクトとして複数のオブジェクトが重なっており、前側のオブジェクトによって後側のオブジェクトが遮蔽されて隠れて見えない場合に、前記後側のオブジェクトを目標候補オブジェクトとして、少なくとも一部が遮蔽されずに見える状態となるように、前記表示態様の変更を行う、
表示装置。
【請求項８】
請求項７記載の表示装置において、
前記表示態様の変更は、表示位置の移動、透過度の調整、縮小または拡大、あるいは、複製オブジェクトの表示である、
表示装置。
【請求項９】
請求項１記載の表示装置において、
複数のユーザの各ユーザが前記表示装置を使用し、前記複数のユーザを共有ユーザとして、前記オブジェクトを共有オブジェクトとして使用する場合で、自分を第１ユーザ、他者を第２ユーザとした場合において、
前記第１ユーザの第１表示装置と前記第２ユーザの第２表示装置との通信に基づいて、
前記第１ユーザの前記第１表示装置は、前記第２ユーザが前記目標オブジェクトとして注視している前記共有オブジェクトに対し、前記第２ユーザが前記目標オブジェクトとして注視していることを表すマーク情報を表示する、
表示装置。
【請求項１０】
請求項９記載の表示装置において、
前記第１ユーザの前記第１表示装置は、前記第２ユーザが前記目標オブジェクトとして注視している前記共有オブジェクトの少なくとも一部が他のオブジェクトによって遮蔽されている場合に、前記第２ユーザの前記目標オブジェクトの全容が見える状態になるように、前記オブジェクトの表示態様の変更を行う、
表示装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、表示装置や情報処理装置の技術に関し、仮想オブジェクト等の画像を表示する技術に関する。
続きを表示（約 3,300 文字）【背景技術】
【０００２】
近年、仮想オブジェクト等の画像を表示できる表示装置が広く用いられるようになってきた。一例として、ユーザの頭部に装着され表示部やカメラ部等を備えるヘッドマウント情報処理装置（いわゆるヘッドマウントディスプレイ：ＨＭＤ）が挙げられる。ヘッドマウント情報処理装置は、現実空間の実体物や仮想オブジェクトを表示し、現実世界と仮想世界をリアルタイムかつシームレスに融合させて、あたかも現実世界のその場に仮想の物体が存在するかのような体験を行わせることができる。表示方式としては、いわゆるビデオシースルー型や光学シースルー型がある。ビデオシースルー型の場合は、実体物および仮想オブジェクトに対応する画像を生成して頭部前面の表示部で表示する。光学シースルー型の場合は、目の前の実体物を視認可能としつつ、それに重畳させて仮想オブジェクトの画像を表示部で表示する。
【０００３】
上記表示装置に係わる先行技術例として、特開２０１５－０９０６３５号公報（特許文献１）が挙げられる。特許文献１には、「ユーザの視界を確保しつつ、情報を適切に表示する」旨や以下の旨が記載されている。透過型ヘッドマウントディスプレイを有する情報表示システムであって、制御部は、使用者の両眼の撮像データに基づいて、使用者の注視点を検出し、注視点に基づいて、使用者が仮想スクリーン上を注視しているか、仮想スクリーンの先の背景を注視しているかを判定し、使用者の視線領域と、仮想スクリーン上のオブジェクトの表示位置とが重なっているかを判定し、注視点が移動した場合に、判定結果に基づいて、オブジェクトの表示位置及び／又は表示形態を変更する。
【先行技術文献】
【特許文献】
【０００４】
特開２０１５－０９０６３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来のヘッドマウント情報処理装置のような表示装置では、現実空間の実体物と仮想オブジェクトとが重なって表示された場合に、それらの配置関係やユーザ視線位置によっては、ユーザが視認したい実体物や仮想オブジェクトが他の実体物や仮想オブジェクトによって遮蔽されてしまい、視認がしにくい場合や視認が妨害される場合がある。
【０００６】
特許文献１では、実体物をリアルにシースルーするとともに仮想オブジェクトを仮想スクリーン上に表示するＨＭＤにおいて、ユーザの注視点に基づいて、ユーザが仮想スクリーン上を注視しているのか、背景を注視しているのかを判定すると共に、視線が仮想スクリーン上のオブジェクトに重なっているか否かを判定し、双方の判定結果に応じて、仮想オブジェクトの表示位置及び／又は表示形態を変更する旨が記載されている。特許文献１では、ユーザが注視している対象が仮想オブジェクトで重なり覆われている場合には、情報表示システムが仮想オブジェクトの表示位置あるいは透過度による表示形態を変更して表示する旨は記載されている。しかし、特許文献１では、視線上での視認妨害を排除することは考慮されているが、それだけであり、ユーザが視認したい範囲に対する妨害に対しては何ら考慮されていない。また、特許文献１では、実体物および仮想オブジェクトが３次元（Three -Dimensional：３Ｄ）配置される際の遮蔽関係を反映した表示についても何ら示唆されていない。
【０００７】
本発明の目的は、３次元配置の仮想オブジェクトを表示できるヘッドマウント情報処理装置のような表示装置の技術に関して、ユーザが視認したい実体物や仮想オブジェクト等のオブジェクトの視認範囲に対し他のオブジェクトによる遮蔽等による視認妨害がある場合に、その視認妨害を解消または軽減でき、ユーザがオブジェクトの全容を好適に視認することができ、そのような機能をユーザの手間が少なく使い勝手良く実現できる技術を提供することである。上記以外の課題や効果等については、［発明を実施するための形態］において示される。
【課題を解決するための手段】
【０００８】
本発明のうち代表的な実施の形態は以下に示す構成を有する。実施の形態の表示装置は、画像を表示する表示デバイスと、前記画像の表示を制御するプロセッサと、を備え、前記表示デバイスに、オブジェクトとして、外界の実体物から切り出した個別実体オブジェクトと３次元配置される仮想オブジェクトとのうち少なくとも前記仮想オブジェクトを表示し、ユーザが注視を望む前記オブジェクトを目標オブジェクトとして確定し、前記ユーザが前記目標オブジェクトを視認する際に妨害となる前記オブジェクトを妨害オブジェクトとして検出し、前記妨害オブジェクトがある場合、前記目標オブジェクトの視認に対する前記妨害オブジェクトによる妨害を解消または低減するように、前記目標オブジェクトと前記妨害オブジェクトとのうち少なくとも一方のオブジェクトの表示態様の変更を行う。
【発明の効果】
【０００９】
本発明のうち代表的な実施の形態によれば、３次元配置の仮想オブジェクトを表示できるヘッドマウント情報処理装置のような表示装置の技術に関して、ユーザが視認したい実体物や仮想オブジェクト等のオブジェクトの視認範囲に対し他のオブジェクトによる遮蔽等による視認妨害がある場合に、その視認妨害を解消または軽減でき、ユーザがオブジェクトの全容を好適に視認することができ、そのような機能をユーザの手間が少なく使い勝手良く実現できる。
【図面の簡単な説明】
【００１０】
本発明の実施の形態１の表示装置であるヘッドマウント情報処理装置（ＨＭＤ）の構成概要および表示例を示す。
実施の形態１で、オブジェクトの分類、遮蔽妨害関係、およびカテゴリーについて示す。
実施の形態１で、透過度調整の場合の表示例を示す。
実施の形態１で、透過度調整の場合の表示例を示す。
実施の形態１で、縮小／拡大の場合の表示例を示す。
実施の形態１で、表示位置移動の場合の表示例を示す。
実施の形態１で、表示位置移動の場合の表示例を示す。
実施の形態１で、複製表示の場合の表示例を示す。
実施の形態１で、主な処理フローを示す。
実施の形態１で、機能ブロック構成例を示す。
実施の形態１で、表示例を示す。
実施の形態１で、表示例を示す。
実施の形態１で、動作例の処理フローを示す。
実施の形態１で、表示例を示す。
実施の形態１で、表示例を示す。
実施の形態１で、表示例を示す。
実施の形態１で、表示例を示す。
実施の形態１で、表示例を示す。
実施の形態１で、表示例を示す。
本発明の実施の形態２の表示装置における、表示例を示す。
実施の形態２で、表示例を示す。
実施の形態２で、補足説明図を示す。
実施の形態２で、動作例の処理フローを示す。
各実施の形態で、オブジェクトデータの例を示す。
本発明の実施の形態３の表示装置における、共有の第１例を示す。
本発明の実施の形態３の表示装置における、共有の第２例を示す。
実施の形態３で、表示例を示す。
実施の形態３で、表示例を示す。
実施の形態３で、表示例を示す。
実施の形態３で、表示例を示す。
実施の形態３で、表示例を示す。
本発明の実施の形態４の表示装置における、表示例を示す。
実施の形態４の変形例における、表示例を示す。
本発明の実施の形態５の表示装置における、表示例を示す。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許