特許ウォッチ

公開番号2024149597
公報種別公開特許公報(A)
公開日2024-10-18
出願番号2024124597,2022544936
出願日2024-07-31,2020-08-25
発明の名称3次元仮想現実表示システム
出願人マクセル株式会社
代理人弁理士法人武和国際特許事務所
主分類G06T 19/00 20110101AFI20241010BHJP(計算;計数)
要約【課題】3次元ARオブジェクトをより正確に認識できる技術を提供する。
【解決手段】3次元仮想現実表示システムであって、サーバ(9)とサーバに無線通信接続されたヘッドマウントディスプレイ(2a、HMD)とを備え、HMDは、現実物体を撮像した3次元現実空間画像データと、現実空間の観測者から現実物体までの距離を測定して距離データをサーバに送信し、サーバは3次元現実空間画像データの撮影方向を観測者の視線として用い、観測者が3次元仮想現実物体を観測する視線上に現実物体が存在する場合、観測者から3次元仮想現実物体が表示される距離と距離データに示される観測者から現実物体までの距離とを比較し、3次元仮想現実物体に現実物体が重なる場合は、視線上に3次元仮想現実物体は表示し、現実物体画像は視線上には表示しない重なり解消表示処理を行った表示画像データを生成し、HMDが表示画像データに基づく画像を表示する。
【選択図】図7A

特許請求の範囲【請求項１】
３次元仮想現実表示システムであって、
サーバと、前記サーバに無線通信接続されたヘッドマウントディスプレイと、を備え、
前記サーバは、
第１プロセッサを備え、
前記ヘッドマウントディスプレイは、
現実空間内に存在する現実物体を撮像して現実物体画像を含む３次元現実空間画像データを出力するカメラと、
前記現実空間の観測者から前記現実物体までの距離を測定して距離データを出力する距離センサと、
ディスプレイと、
第２プロセッサと、を備え、
前記ヘッドマウントディスプレイから前記サーバへ、前記３次元現実空間画像データおよび前記距離データを送信し、
前記サーバは、前記３次元現実空間画像データおよび前記距離データを受信し、
前記第１プロセッサは、
前記３次元現実空間画像データの撮影方向を前記観測者の視線として用い、
前記観測者が３次元仮想現実物体を観測する視線上に前記現実物体が存在する場合、前記観測者から前記３次元仮想現実物体が表示される距離と前記距離データに示される前記観測者から前記現実物体までの距離とを比較し、前記３次元仮想現実物体に前記現実物体が重なる場合は、前記視線上に前記３次元仮想現実物体は表示し、前記現実物体画像は前記視線上には表示しない重なり解消表示処理を行った表示画像データを生成し、
前記サーバから前記ヘッドマウントディスプレイへ前記表示画像データを送信し、
前記ヘッドマウントディスプレイは、前記表示画像データを受信し、
前記第２プロセッサは、前記表示画像データに基づいて前記３次元仮想現実物体が含まれる画像を前記ディスプレイに表示する、
ことを特徴とする３次元仮想現実表示システム。
続きを表示（約 1,800 文字）【請求項２】
請求項１に記載の３次元仮想現実表示システムであって、
前記第１プロセッサは、前記３次元仮想現実物体を構成する点のうち、前記視線に沿った奥行き方向に最も遠い最遠点と同距離またはそれよりも手前に前記現実物体が存在する場合、前記３次元仮想現実物体に前記現実物体が重なると判断する、
ことを特徴とする３次元仮想現実表示システム。
【請求項３】
請求項２に記載の３次元仮想現実表示システムにおいて、
前記第１プロセッサは、前記現実物体が前記最遠点よりも前記視線上において遠くに位置する場合、前記現実物体画像に、前記３次元仮想現実物体の背後に表示させるためのオクルージョン処理を実行して前記表示画像データを生成する、
ことを特徴とする３次元仮想現実表示システム。
【請求項４】
請求項２に記載の３次元仮想現実表示システムにおいて、
前記第１プロセッサは、前記現実物体が前記最遠点と同距離またはそれよりも手前に存在する場合、前記３次元現実空間画像から前記現実物体画像を削除し、当該削除した領域に前記３次元現実空間画像を基に生成した背景物体画像をはめ込んだ前記表示画像データを生成する、
ことを特徴とする３次元仮想現実表示システム。
【請求項５】
請求項４に記載の３次元仮想現実表示システムにおいて、
前記第１プロセッサは、前記３次元現実空間画像における前記視線から退避した位置に削除された前記現実物体画像を移動した前記表示画像データを生成する、
ことを特徴とする３次元仮想現実表示システム。
【請求項６】
請求項２に記載の３次元仮想現実表示システムにおいて、
前記第１プロセッサは、前記現実物体が前記最遠点と同距離またはそれよりも手前に位置する場合、予め用意された３次元仮想空間画像に前記３次元仮想現実物体を重ねた前記表示画像データを生成する、
ことを特徴とする３次元仮想現実表示システム。
【請求項７】
請求項２に記載の３次元仮想現実表示システムにおいて、
前記第１プロセッサは、前記３次元仮想現実物体を構成する点のうち、前記視線に沿った奥行き方向の最も手前にある最近点と同距離またはそれよりも更に手前に前記現実物体が存在する場合、前記現実空間を前記カメラが撮像した３次元現実空間画像から前記現実物体画像を削除し、前記現実物体が削除された３次元現実空間画像に前記３次元仮想現実物体を重ねるとともに、前記３次元現実空間画像から前記現実物体画像が削除された残領域に、前記３次元現実空間画像を基に生成した前景画像をはめ込んだ前記表示画像データを生成する、
ことを特徴とする３次元仮想現実表示システム。
【請求項８】
請求項１に記載の３次元仮想現実表示システムにおいて、
前記３次元仮想現実物体は、当該３次元仮想現実物体に対するオクルージョン処理を制御するためのフラグが付与され、
前記第１プロセッサは、前記フラグに応じて前記３次元仮想現実物体と前記現実物体画像との間のオクルージョン処理の実行を制御する、
ことを特徴とする３次元仮想現実表示システム。
【請求項９】
請求項８に記載の３次元仮想現実表示システムにおいて、
前記３次元仮想現実物体は非透明領域と透明領域とを含み、
前記フラグは前記非透明領域に付される非透明領域フラグと、前記透明領域に付加される透明領域フラグと、を含み、
前記第１プロセッサは、前記非透明領域フラグが付加された前記３次元仮想現実物体の部位は、前記重なり解消表示処理を実行し、前記透明領域フラグが付加された前記３次元仮想現実物体の透明領域は、前記透明領域と前記現実物体との距離に関わらず、前記透明領域を透過して前記現実物体を観測する視線上に前記３次元仮想現実物体の他の部位または他の前記３次元仮想現実物体と前記現実物体とがある場合は、前記３次元仮想現実物体の他の部位または他の前記３次元仮想現実物体と前記現実物体との距離に応じた表示、または前記視線上に前記現実物体のみが存在する場合は前記現実物体までの距離に応じた表示を行う前記表示画像データを生成する、
ことを特徴とする３次元仮想現実表示システム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、３次元仮想現実表示システムに関し、特に、現実空間と仮想現実物体（ＡＲオブジェクト：ＡｒｇｕｍｅｎｔＲｅａｌｉｔｙＯｂｊｅｃｔ）とを含む複合現実（ＭＲ：ＭｉｘｅｄＲｅａｌｉｔｙ）を体験するための技術に関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
特許文献１は、「現実空間画像と仮想オブジェクト画像とを合成した合成画像を表示装置に出力する情報処理装置が、現実物体の位置を特定し、特定された現実物体の位置の情報に基づいて現実物体が移動しているか判定し、移動している場合に現実物体の存識可能にするように前記合成画像を前記表示装置に表示させるべく出力する」（要約抜粋）技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０１６－１２２３９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、３次元ＡＲオブジェクトと現実空間の現実物体とがＨＭＤからの視線上で重なる場合は、３次元ＡＲオブジェクトを半透明にする、あるいは現実物体の近傍で３次元ＡＲオブジェクトを非表示にするなど、３次元ＡＲオブジェクトの表示に制約を与えている。このため、３次元ＡＲオブジェクトを正確に認識して、ＭＲ体験を行うことができない場合がある。
【０００５】
本発明は上記課題に鑑みてなされたものであり、３次元ＡＲオブジェクトをより正確に認識できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は特許請求の範囲に記載の構成を備える。その一例をあげるならば、本発明は、３次元仮想現実表示システムであって、サーバと、前記サーバに無線通信接続されたヘッドマウントディスプレイと、を備え、前記サーバは、第１プロセッサを備え、前記ヘッドマウントディスプレイは、現実空間内に存在する現実物体を撮像して現実物体画像を含む３次元現実空間画像データを出力するカメラと、前記現実空間の観測者から前記現実物体までの距離を測定して距離データを出力する距離センサと、ディスプレイと、第２プロセッサと、を備え、前記ヘッドマウントディスプレイから前記サーバへ、前記３次元現実空間画像データおよび前記距離データを送信し、前記サーバは、前記３次元現実空間画像データおよび前記距離データを受信し、前記第１プロセッサは、前記３次元現実空間画像データの撮影方向を前記観測者の視線として用い、前記観測者が３次元仮想現実物体を観測する視線上に前記現実物体が存在する場合、前記観測者から前記３次元仮想現実物体が表示される距離と前記距離データに示される前記観測者から前記現実物体までの距離とを比較し、前記３次元仮想現実物体に前記現実物体が重なる場合は、前記視線上に前記３次元仮想現実物体は表示し、前記現実物体画像は前記視線上には表示しない重なり解消表示処理を行った表示画像データを生成し、前記サーバから前記ヘッドマウントディスプレイへ前記表示画像データを送信し、前記ヘッドマウントディスプレイは、前記表示画像データを受信し、前記第２プロセッサは、前記表示画像データに基づいて前記３次元仮想現実物体が含まれる画像を前記ディスプレイに表示する、ことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、３次元ＡＲオブジェクトをより正確に認識できる。上記した以外の目的、構成、効果については、以下の実施形態において明らかにされる。
【図面の簡単な説明】
【０００８】
第１実施形態に係る３次元仮想現実表示システムの概要図
３次元仮想現実表示装置の一例としてのＨＭＤの外観図
ＨＭＤのブロック図
ＶＲサービスサーバのブロック図
ＭＲ支援サーバのブロック図
従来の３次元仮想現実表示例を示す図（３ＤＡＲオブジェクトと現実物体が重なっている状態を示す図）
第１実施形態に係る３次元仮想現実表示（第１重なり解消表示例）を示す図
第１実施形態に係る３次元仮想現実表示（第２重なり解消表示例）を示す図
第１実施形態に係る３次元仮想現実表示（第３重なり解消表示例）を示す図
第１実施形態に係るＭＲ体験プログラムのフローチャート
体積の重なり具合の判断アルゴリズム例を示す図
第１実施形態に係るＶＲサービスサーバのフローチャート
第１実施形態に係るＭＲ支援サーバのフローチャート
従来の３次元仮想現実表示の例を示す図（３ＤＡＲオブジェクトよりも手前に現実物体がいる状態を示す図）
第２実施形態に係る３次元仮想現実表示（第４重なり解消表示例）を示す図
第２実施形態に係るＭＲ体験プログラムのフローチャート
従来の３次元仮想現実表示の例を示す図（３ＤＡＲオブジェクトと現実物体が重なっている状態を示す図）
第３実施形態に係る３次元仮想現実表示例を示す図（透明部位の処理例）
第３実施形態に係る３次元仮想現実表示例を示す図（ＶＲ画像への置換例）
３ＤＡＲオブジェクトテーブルを示す図
第３実施形態に係るＭＲ体験プログラムのフローチャート
第３実施形態に係る３次元仮想現実表示の別例を示す図
第４実施形態のＭＲ支援サーバのブロック図
第４実施形態の３次元仮想現実表示処理の流れを示すフローチャート
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら、本発明の実施形態について説明する。全図において同一の構成、ステップには同一の符号を付し、重複説明を省略する。
【００１０】
本実施形態では、現実空間を測距カメラで撮影した３次元現実空間画像（以下「現実空間画像」という）にＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）で作成した３次元仮想現実物体（以下「３ＤＡＲオブジェクト」という、図面では「３Ｄ-ＡＲＯ」と記載する。）を合成して表示する。本実施形態では、測距カメラ２０を用いることによりカメラと距離を測定する距離センサとを一体的に構成したが、カメラと例えば超音波距離計といった別体の距離センサとを組み合わせて構成してもよい。
（【００１１】以降は省略されています）

関連特許