特許ウォッチ

公開番号2025066572
公報種別公開特許公報(A)
公開日2025-04-23
出願番号2023176272
出願日2023-10-11
発明の名称複合現実デバイス、処理装置、処理方法、プログラム、及び記憶媒体
出願人株式会社東芝
代理人弁理士法人iX
主分類G06T 19/00 20110101AFI20250416BHJP(計算;計数)
要約【課題】複合現実デバイスの使用者が、現実空間における物体と仮想空間における仮想オブジェクトとの位置関係をより容易に把握できる、複合現実デバイス、処理装置、処理方法、プログラム、及び記憶媒体を提供する。
【解決手段】実施形態に係る複合現実デバイスは、現実空間に重ねて仮想空間の仮想オブジェクトを表示する。前記複合現実デバイスは、前記現実空間における物体の位置及び前記仮想オブジェクトの位置を取得する。前記複合現実デバイスは、前記複合現実デバイスに対して前記仮想オブジェクトが前記物体の奥側に位置し且つ前記物体と重なる場合に、前記仮想オブジェクトの外観を変化させる。
【選択図】図2
特許請求の範囲【請求項１】
現実空間に重ねて仮想空間の仮想オブジェクトを表示する複合現実デバイスであって、
前記現実空間における物体の位置及び前記仮想オブジェクトの位置を取得し、
前記複合現実デバイスに対して前記仮想オブジェクトが前記物体の奥側に位置し且つ前記物体と重なる場合に、前記仮想オブジェクトの外観を変化させる、複合現実デバイス。
続きを表示（約 1,000 文字）【請求項２】
前記現実空間における深度画像を取得し、前記深度画像から前記物体の前記位置を取得する、請求項１に記載の複合現実デバイス。
【請求項３】
前記物体及び前記仮想オブジェクトの手前に仮想面を設定し、
前記仮想面に前記物体及び前記仮想オブジェクトを投影することで、前記仮想オブジェクトが前記物体と重なるか判定する、請求項２に記載の複合現実デバイス。
【請求項４】
前記深度画像は、複数のメッシュを含むメッシュデータであり、
前記複数のメッシュから、前記複合現実デバイス及び前記仮想オブジェクトを結ぶ直線との間の距離が閾値未満である前記メッシュを抽出し、
前記仮想オブジェクトが抽出された前記メッシュの奥側に位置し、且つ前記抽出されたメッシュと重なるか判定する、請求項２に記載の複合現実デバイス。
【請求項５】
前記複合現実デバイスに対して、前記仮想オブジェクトが前記物体の奥側に位置し且つ前記物体と重なる場合に、前記仮想オブジェクトの色又はサイズを変化させる、請求項１に記載の複合現実デバイス。
【請求項６】
前記複合現実デバイスに対して、前記仮想オブジェクトが前記物体の奥側に位置し且つ前記物体と重なる場合に、前記物体の画像を前記物体に重ねて表示させる、請求項１に記載の複合現実デバイス。
【請求項７】
前記現実空間に設けられたマーカを基点として、三次元座標系を設定し、
前記三次元座標系において予め登録された位置に、前記仮想オブジェクトを表示させる、請求項１に記載の複合現実デバイス。
【請求項８】
前記仮想オブジェクトは、前記現実空間における物品の締結箇所に対応して表示される、請求項１～７のいずれか１つに記載の複合現実デバイス。
【請求項９】
前記締結箇所へねじを締めるための工具から、前記工具によって検出された検出値を受信し、
手又は前記工具が前記仮想オブジェクトと接触した場合、前記締結箇所に関するデータに前記検出値を紐付ける、請求項８に記載の複合現実デバイス。
【請求項１０】
前記締結箇所への作業に関する情報を前記仮想オブジェクトに表示させ、
前記情報を、前記物品から前記仮想オブジェクトへの方向に向けて表示させる、請求項８に記載の複合現実デバイス。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、複合現実デバイス、処理装置、処理方法、プログラム、及び記憶媒体に関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
現実空間に仮想空間を重ねて表示する装置がある。この装置について、現実空間における物体と仮想空間における仮想オブジェクトとの位置関係を、使用者がより容易に把握できる技術が求められている。
【先行技術文献】
【特許文献】
【０００３】
国際公開第ＷＯ２０２１／１７６６４５号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする課題は、複合現実デバイスの使用者が、現実空間における物体と仮想空間における仮想オブジェクトとの位置関係をより容易に把握できる、複合現実デバイス、処理装置、処理方法、プログラム、及び記憶媒体を提供することである。
【課題を解決するための手段】
【０００５】
実施形態に係る複合現実デバイスは、現実空間に重ねて仮想空間の仮想オブジェクトを表示する。前記複合現実デバイスは、前記現実空間における物体の位置及び前記仮想オブジェクトの位置を取得する。前記複合現実デバイスは、前記複合現実デバイスに対して前記仮想オブジェクトが前記物体の奥側に位置し且つ前記物体と重なる場合に、前記仮想オブジェクトの外観を変化させる。
【図面の簡単な説明】
【０００６】
図１は、第１実施形態に係る処理システムの構成を示す模式図である。
図２は、実施形態に係る複合現実デバイスを例示する模式図である。
図３は、作業対象の物品を例示する模式図である。
図４は、実施形態に係る処理システムによる表示例を説明するための模式図である。
図５は、実施形態に係る処理システムによる表示例を説明するための模式図である。
図６は、実施形態に係る処理システムによる表示例を説明するための模式図である。
図７は、実施形態に係る処理システムによる表示例を説明するための模式図である。
図８は、実施形態を説明するための模式的平面図である。
図９は、深度画像の一例である。
図１０は、実施形態を説明するための模式的平面図である。
図１１は、実施形態を説明するための模式的平面図である。
図１２は、実施形態を説明するための模式的平面図である。
図１３は、実施形態を説明するための模式的平面図である。
図１４は、実施形態に係る処理システムによる表示例を説明するための模式図である。
図１５（ａ）及び図１５（ｂ）は、実施形態に係る処理システムによる表示例を説明するための模式図である。
図１６（ａ）及び図１６（ｂ）は、実施形態に係る処理システムによる表示例を説明するための模式図である。
図１７は、実施形態に係る処理システムによる表示例を説明するための模式図である。
図１８（ａ）及び図１８（ｂ）は、実施形態に係る処理システムによる表示例を説明するための模式図である。
図１９は、実施形態に係る処理システムによる表示例を説明するための模式図である。
図２０は、実施形態に係る処理システムによる表示例を説明するための模式図である。
図２１（ａ）及び図２１（ｂ）は、実施形態に係る処理システムによる表示例を説明するための模式図である。
図２２は、作業の様子を例示する模式図である。
図２３は、実施形態に係る処理システムによる表示例を説明するための模式図である。
図２４（ａ）及び図２４（ｂ）は、実施形態に係る処理システムによる表示例を説明するための模式図である。
図２５は、実施形態に係る処理方法の一例を示すフローチャートである。
図２６は、実施形態において参照されるデータを例示する模式図である。
図２７は、ハードウェア構成を示す模式図である。
【発明を実施するための形態】
【０００７】
以下に、本発明の各実施形態について図面を参照しつつ説明する。図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
【０００８】
図１は、第１実施形態に係る処理システムの構成を示す模式図である。
第１実施形態に係る発明は、工具を用いたねじを回す作業に適用可能である。処理システム１０は、図１に示すように、撮影装置１、処理装置２、入力装置３、表示装置４、及び記憶装置５を含む。
【０００９】
撮影装置１は、作業の様子を撮影し、画像を取得する。作業では、工具を用いて、物品に対してねじなどの締結具が締結される。又は、工具を用いて、物品に締結されたねじが緩められる。物品は、製品を作製するための部品、ユニット、又は半製品などである。工具は、レンチ、ドライバなどである。ここでは、主に、本発明の実施形態が、ねじを締める締結作業に適用される例を説明する。
【００１０】
物品を組み立てる際、作業者は、手に工具を持ち、ねじを締結する。撮影装置１は、工具を持った作業者の左手又は右手、作業される物品などを撮影する。例えば、撮影装置１は、色画像及び深度画像を取得するカメラを含む。色画像は、ＲＧＢ又はＨＳＶで表される、可視光に基づく画像である。深度画像は、赤外線の反射光に基づく画像であり、撮影装置１と被写体との間の距離を示す。色画像を取得する撮影装置１と、深度画像を取得する撮影装置１と、が別々に設けられても良い。深度画像を取得するために、レーザレンジファインダ（ＬＲＦ）などの測距センサが用いられても良い。
（【００１１】以降は省略されています）

関連特許