特許ウォッチ

公開番号2025013464
公報種別公開特許公報(A)
公開日2025-01-24
出願番号2024192945,2023173414
出願日2024-11-01,2018-11-29
発明の名称映像表示システムおよび方法
出願人マクセル株式会社
代理人弁理士法人筒井国際特許事務所
主分類G06F 3/01 20060101AFI20250117BHJP(計算;計数)
要約【課題】映像表示装置に関して、AR(拡張現実)等の生成画像に関するユーザの操作性や使い勝手を高めることができる技術を提供する。
【解決手段】映像表示装置であるHMDは、表示面2にAR画像30を表示し、AR画像30に対するユーザの操作を支援するための識別情報(ID)を含むID画像40を構成し、ユーザの視線方向を検出して視線領域20を設定し、視線領域20内にAR画像30が該当する場合、AR画像30にID画像40を対応付けて表示する。HMDは、ID画像40に対するユーザの選択操作を受け付け、ID画像40の選択操作を受けた場合に、ID画像40に対応付けられたAR画像30を選択し、AR画像30に対応付けられた所定の処理を実行する。
【選択図】図6
特許請求の範囲【請求項１】
生成画像を表示する表示装置と、
前記生成画像に対するユーザの操作を支援するための選択領域を設定する制御装置と、
前記ユーザの視線方向を検出する視線検出装置と、
を備え、
前記制御装置は、検出した前記視線方向に応じた視線領域を設定し、
表示された前記生成画像を前記ユーザが視認することに対応して、前記視線領域内に前記生成画像が該当する場合、
前記制御装置は、前記選択領域に、前記視線領域内に該当する前記生成画像と関連した選択用画像を表示するように制御し、
前記選択用画像に対する前記ユーザの選択操作を受けた場合に、前記選択用画像に関連する前記生成画像に関連付けられた所定の処理を実行する
ことを特徴とする映像表示システム。
続きを表示（約 1,100 文字）【請求項２】
請求項１記載の映像表示システムであって、
前記選択用画像は、前記生成画像の縮小した画像、または拡大した画像である
ことを特徴とする映像表示システム。
【請求項３】
請求項１記載の映像表示システムであって、
前記選択用画像は、前記生成画像の一部画像、または全部を含む画像である
ことを特徴とする映像表示システム。
【請求項４】
請求項１記載の映像表示システムであって、
前記制御装置は、前記生成画像に対するユーザの操作を支援するための識別情報を含むＩＤ画像を構成し、前記視線領域内に前記生成画像が該当する場合、前記視線領域内の生成画像と前記選択領域内の選択用画像に前記ＩＤ画像を対応付けて表示する
ことを特徴とする映像表示システム。
【請求項５】
請求項１記載の映像表示システムであって、
前記制御装置は、前記ユーザの操作に応じて、前記視線領域を拡大または縮小する
ことを特徴とする映像表示システム。
【請求項６】
請求項５記載の映像表示システムであって、
前記表示装置は、前記生成画像を複数表示可能であり、
前記制御装置は、前記視線領域内に同時表示可能な前記生成画像の最大数を設定し、前記最大数に応じて、前記視線領域を拡大または縮小する
ことを特徴とする映像表示システム。
【請求項７】
請求項１記載の映像表示システムであって、
前記制御装置は、表示面の上辺、下辺、右辺、または左辺に前記選択領域を設けている
ことを特徴とする映像表示システム。
【請求項８】
請求項４記載の映像表示システムであって、
前記制御装置は、前記選択領域の前記ＩＤ画像と前記選択用画像を前記生成画像の表示位置に対応させた位置に表示するように制御する
ことを特徴とする映像表示システム。
【請求項９】
請求項６記載の映像表示システムであって、
前記制御装置は、前記生成画像が表示された位置と離れた位置に前記選択領域を設定し、前記生成画像と前記選択用画像との対応関係を示す線を表示するように制御する
ことを特徴とする映像表示システム。
【請求項１０】
請求項８記載の映像表示システムであって、
前記制御装置は、表示面の左右方向、または上下方向で前記生成画像の位置と対応させた位置に、前記ＩＤ画像と前記選択用画像を表示するように制御する
ことを特徴とする映像表示システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、映像表示装置の技術に関し、現実空間の映像（実像と記載する場合がある）に対し、コンピュータによる生成画像（虚像と記載する場合もある）を表示する技術に関する。
続きを表示（約 3,000 文字）【背景技術】
【０００２】
実像の物体等に対し、拡張現実（ＡＲ：Augmented Reality）、仮想現実（ＶＲ：Virtual Reality）、混合現実（ＭＲ：Mixed Reality）等の生成画像を表示する技術の開発が進んでいる。生成画像は、静止画または動画を含む。生成画像を表示可能である映像表示装置として、ヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ，頭部装着型表示装置）やヘッドアップディスプレイ（Head Up Display：ＨＵＤ）等が挙げられる。例えば、ＡＲ機能を持つＨＭＤは、透過型または非透過型の表示面において、実像上に生成画像であるＡＲ画像（ＡＲオブジェクト等と記載する場合がある）を重畳させて表示する。ユーザは、表示面の複数のＡＲ画像から目的のＡＲ画像を選択操作する。ＨＭＤは、選択されたＡＲ画像に対応付けられる所定の処理を実行する。
【０００３】
上記映像表示装置に係わる先行技術例として、特開２０１６－２１８８６８号公報（特許文献１）が挙げられる。特許文献１には、表示制御方法等において、表示されたオブジェクトデータの選択性を向上する旨が記載されている。特許文献１には、ＨＭＤが、ディスプレイの表示範囲に含まれる選択可能なオブジェクトデータの数に応じた数の識別情報を生成し、表示範囲に含まれるオブジェクトデータの各々に、生成した識別情報の各々を対応付けて表示する旨が記載されている。すなわち、特許文献１には、図２等に示されるように、ＡＲ画像に対し、識別情報（ＩＤと記載する場合がある）の画像（ＩＤ画像と記載する場合がある）を付与して表示する旨が記載されている。このＩＤ画像もＡＲ画像の一種であるといえる。
【先行技術文献】
【特許文献】
【０００４】
特開２０１６－２１８８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来技術例のＨＭＤ等の映像表示装置は、例えば表示面内に多数の物体および多数のＡＲ画像が存在する場合に、ユーザが所望のＡＲ画像を選択操作することが難しい。また、従来技術例におけるＡＲ画像の選択操作の方式は、例えばカメラを用いて手指のジェスチャーを検出する方式である。このジェスチャーは、例えば目的のＡＲ画像を手指で仮想的にタッチする操作やつまむ操作が挙げられる。しかし、この方式は、ＡＲ画像の選択操作の検出が難しい場合がある。
【０００６】
従来技術例の映像表示装置は、ＡＲ等の生成画像に関するユーザの操作性や使い勝手に関して、改善余地がある。本発明の目的は、映像表示装置の技術に関して、ＡＲ等の生成画像に関するユーザの操作性や使い勝手を高めることができる技術を提供することである。上記以外の課題、構成、効果等については、発明を実施するための形態で説明される。
【課題を解決するための手段】
【０００７】
本発明のうち代表的な実施の形態は、以下に示す構成を有する。一実施の形態の映像表示装置は、実像上に生成画像を重畳して表示する映像表示装置であって、表示面に前記生成画像を表示し、前記生成画像に対するユーザの操作を支援するための識別情報を含むＩＤ画像を構成し、前記ユーザの視線方向を検出して前記視線方向に応じた視線領域を設定し、前記視線領域内に前記生成画像が該当する場合、前記生成画像に前記ＩＤ画像を対応付けて表示し、前記ＩＤ画像に対する前記ユーザの選択操作を受け付け、前記ＩＤ画像の前記選択操作を受けた場合に、前記ＩＤ画像に対応付けられた前記生成画像を選択し、前記生成画像に対応付けられた所定の処理を実行する。
【発明の効果】
【０００８】
本発明のうち代表的な実施の形態によれば、映像表示装置の技術に関して、ＡＲ等の生成画像に関するユーザの操作性や使い勝手を高めることができる。
【図面の簡単な説明】
【０００９】
本発明の実施の形態１の映像表示装置であるＨＭＤの外観を示す図である。
実施の形態１の映像表示装置の機能ブロック構成を示す図である。
実施の形態１の映像表示装置で、主な処理フローを示す図である。
実施の形態１の映像表示装置で、ＩＤ画像に関する処理フローを示す図である。
実施の形態１の映像表示装置で、ソフトウェア構成例を示す図である。
実施の形態１の映像表示装置で、ＩＤ画像表示の基本を示す図である。
実施の形態１の映像表示装置で、視線領域の構成例を示す図である。
実施の形態１の映像表示装置で、管理テーブルの構成例を示す図である。
実施の形態１の映像表示装置で、音声入力のコマンド表を示す図である。
実施の形態１の映像表示装置で、実像、ＡＲ画像およびＩＤ画像の第１例を示す図である。
実施の形態１の映像表示装置で、実像、ＡＲ画像およびＩＤ画像の第２例を示す図である。
実施の形態１の映像表示装置で、ＩＤ画像の第１例を示す図である。
実施の形態１の映像表示装置で、ＩＤ画像の第２例を示す図である。
実施の形態１の映像表示装置で、映像の第１状態を示す図である。
実施の形態１の映像表示装置で、映像の第２状態を示す図である。
実施の形態１の映像表示装置で、映像の例を示す図である。
実施の形態１の映像表示装置で、ＩＤ画像選択時の例を示す図である。
実施の形態１の映像表示装置で、視線領域の拡大／縮小の第１例を示す図である。
実施の形態１の映像表示装置で、視線領域の拡大／縮小の第２例を示す図である。
実施の形態１の映像表示装置で、視線領域の固定の例を示す図である。
実施の形態１の映像表示装置で、視線領域の逸脱の例を示す図である。
本発明の実施の形態２の映像表示装置における映像の例を示す図である。
実施の形態２の映像表示装置で、選択領域の第１例を示す図である。
実施の形態２の映像表示装置で、選択領域の第２例を示す図である。
実施の形態２の映像表示装置で、選択領域の第３例を示す図である。
実施の形態２の映像表示装置で、選択領域の第４例を示す図である。
本発明の実施の形態３の映像表示装置における処理フローを示す図である。
本発明の実施の形態４の映像表示装置における映像の例を示す図である。
本発明の実施の形態５の映像表示装置における視線深度を示す図である。
本発明の実施の形態６の映像表示装置における映像の例を示す図である。
本発明の実施の形態７の映像表示装置における映像の例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において同一部には原則として同一符号を付し、繰り返しの説明は省略する。
（【００１１】以降は省略されています）

関連特許