特許ウォッチ

公開番号2025066449
公報種別公開特許公報(A)
公開日2025-04-23
出願番号2023176069
出願日2023-10-11
発明の名称複合現実デバイス、処理方法、処理装置、プログラム、及び記憶媒体
出願人株式会社東芝
代理人弁理士法人iX
主分類G06Q 50/04 20120101AFI20250416BHJP(計算;計数)
要約【課題】不適切な作業の実行を抑制可能な、複合現実デバイス、処理方法、処理装置、プログラム、及び記憶媒体を提供する。
【解決手段】実施形態に係る複合現実デバイスは、撮影部及び処理部を備える。前記撮影部は、画像を取得する撮影部。前記処理部は、前記画像から、締結作業を行う作業者の手を認識する。前記処理部は、ねじの締結箇所に対応する第1位置と、第1工具を持つ前記手の第2位置と、の間の第1距離に基づいて、前記締結作業が適切か判定する。
【選択図】図1
特許請求の範囲【請求項１】
画像を取得する撮影部と、
前記画像から締結作業を行う作業者の手を認識し、ねじの締結箇所に対応する第１位置と、第１工具を持つ前記手の第２位置と、の間の第１距離に基づいて、前記締結作業が適切か判定する処理部と、
を備えた複合現実デバイス。
続きを表示（約 1,100 文字）【請求項２】
前記処理部は、
予め登録された前記第１工具の第１長さと、前記第１距離と、の間の第１誤差を算出し、
前記第１誤差が第１閾値よりも大きい場合に、前記締結作業が適切でないと判定する、
請求項１に記載の複合現実デバイス。
【請求項３】
前記処理部は、前記第１位置を予め登録された前記締結箇所の位置と比較することで、前記第１位置が適切か判定する、請求項１に記載の複合現実デバイス。
【請求項４】
前記第１工具を介して第２工具によって前記ねじが締結される場合に、前記処理部は、
前記作業者の２つの前記手を認識し、
前記２つの手の一方の前記第２位置と、前記２つの手の他方の第３位置と、の間の第２距離に基づいて、前記第２工具が適切か判定する、
請求項１～３のいずれか１つに記載の複合現実デバイス。
【請求項５】
前記処理部は、前記第２位置の高さと前記第３位置の高さとの差が閾値を超える場合、前記締結作業を適切でないと判定する、請求項４に記載の複合現実デバイス。
【請求項６】
前記処理部は、ハンドジェスチャー又は音声コマンドによって示されたタイミングで前記第１位置を計測する、請求項１～３のいずれか１つに記載の複合現実デバイス。
【請求項７】
表示部をさらに備え、
前記処理部は、前記第１位置を示す第１オブジェクトと、前記第２位置を示す第２オブジェクトと、を前記表示部に表示させる、請求項１～３のいずれか１つに記載の複合現実デバイス。
【請求項８】
前記撮影部によってマーカが撮影されると、前記処理部は、前記マーカを基点として三次元の座標系を設定し、前記座標系において前記第１位置及び前記第２位置を計測する、請求項１～３のいずれか１つに記載の複合現実デバイス。
【請求項９】
前記処理部は、前記ねじが締結された際の検出値を受信すると、前記検出値を前記締結箇所に関するデータと紐付けて保存する、請求項１～３のいずれか１つに記載の複合現実デバイス。
【請求項１０】
作業者の左手の認識結果と、右手の認識結果と、ねじの締結箇所に対応する第１位置を示す第１オブジェクトと、前記左手及び前記右手の一方の第２位置を示す第２オブジェクトと、を実空間に重ねて表示部に表示させ、
前記左手及び前記右手の前記一方に持った工具が適切でない場合に、前記表示部にメッセージを表示させる、複合現実デバイス。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、複合現実デバイス、処理方法、処理装置、プログラム、及び記憶媒体に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
物品を製造する作業において、複合現実デバイスが使用される場合がある。複合現実デバイスを活用した締結作業に関して、不適切な作業が実行されることを抑制できる技術が求められている。
【先行技術文献】
【特許文献】
【０００３】
国際公開第２０２１／１７６６４５号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする課題は、不適切な作業の実行を抑制可能な、複合現実デバイス、処理方法、処理装置、プログラム、及び記憶媒体を提供することである。
【課題を解決するための手段】
【０００５】
実施形態に係る複合現実デバイスは、撮影部及び処理部を備える。前記撮影部は、画像を取得する撮影部。前記処理部は、前記画像から、締結作業を行う作業者の手を認識する。前記処理部は、ねじの締結箇所に対応する第１位置と、第１工具を持つ前記手の第２位置と、の間の第１距離に基づいて、前記締結作業が適切か判定する。
【図面の簡単な説明】
【０００６】
図１は、第１実施形態に係る処理システムの構成を示す模式図である。
図２は、実施形態に係る複合現実デバイスを例示する模式図である。
図３は、作業対象の物品を例示する模式図である。
図４は、本発明の第１実施形態を説明するための模式図である。
図５（ａ）及び図５（ｂ）は、本発明の第１実施形態を説明するための模式図である。
図６（ａ）及び図６（ｂ）は、本発明の第１実施形態を説明するための模式図である。
図７（ａ）及び図７（ｂ）は、本発明の第１実施形態を説明するための模式図である。
図８は、本発明の第１実施形態を説明するための模式図である。
図９は、第１実施形態に係る処理方法を例示するフローチャートである。
図１０（ａ）及び図１０（ｂ）は、本発明の第２実施形態を説明するための模式図である。
図１１（ａ）及び図１１（ｂ）は、本発明の第２実施形態における出力例を示す模式図である。
図１２は、第２実施形態に係る処理方法を例示するフローチャートである。
図１３は、第２実施形態の第１変形例に係る処理方法を例示するフローチャートである。
図１４は、第２実施形態の第２変形例を説明するための模式図である。
図１５は、第２実施形態の第２変形例に係る処理方法を例示するフローチャートである。
図１６は、本発明の第３実施形態を説明するための模式図である。
図１７は、本発明の第３実施形態を説明するための模式図である。
図１８は、第３実施形態に係る処理方法を示すフローチャートである。
図１９は、実施形態に係る処理方法におけるデータ処理の概略を示すフローチャートである。
図２０は、ハードウェア構成を示す模式図である。
【発明を実施するための形態】
【０００７】
以下に、本発明の各実施形態について図面を参照しつつ説明する。
図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。
本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
【０００８】
（第１実施形態）
図１は、第１実施形態に係る処理システムの構成を示す模式図である。
本発明の第１実施形態は、工具を用いた作業に適用可能である。処理システム１０は、図１に示すように、撮影部１、処理部２、入力部３、表示部４、及び記憶部５を含む。
【０００９】
撮影部１は、作業の様子を撮影する。具体的には、作業では、工具を用いて、物品に対してねじなどの締結具が締結される。物品は、製品を作製するための部品、ユニット、又は半製品などである。工具は、レンチ、ドライバーなどである。
【００１０】
物品を組み立てる際、作業者は、手に工具を持ち、ねじを締結する。撮影部１は、工具を持った作業者の左手又は右手を撮影する。例えば、撮影部１は、ＲＧＢ画像及び深度画像を取得するカメラを含む。
（【００１１】以降は省略されています）

関連特許