特許ウォッチ

公開番号2025059211
公報種別公開特許公報(A)
公開日2025-04-10
出願番号2023169140
出願日2023-09-29
発明の名称作業支援システム
出願人トヨタ自動車株式会社
代理人個人,個人
主分類G06T 7/20 20170101AFI20250403BHJP(計算;計数)
要約【課題】監視中の作業が中断後に再開した場合にその再開を確認可能とする。
【解決手段】端末装置10は、撮影装置20の画像から抽出した作業者の骨格座標に基づき、作業者が実施中の作業の段階を検出する。そして、端末装置10は、検出した作業の段階が既定の順序で正常に行われているか否かを判定することで作業監視を行う。さらに端末装置10は、作業の各段階が既定の順序で正常に行われていないと判定した場合には、その判定後に、同判定の直前の時点での実施順序に該当する作業の段階を作業者が行っていることを検出した場合に、作業が正常復帰したと判定する。
【選択図】図2
特許請求の範囲【請求項１】
既定の順序で行われる複数の段階を通じて行われる作業者の作業を支援するシステムであって、
前記作業者を撮影する撮影装置と、処理部と、を備えており、
前記処理部は、
前記撮影装置の画像から抽出した前記作業者の骨格座標に基づき、前記作業者が実施中の前記作業の段階を検出するとともに、検出した前記作業の段階が前記既定の順序で正常に行われているか否かを判定することで作業監視を行うことと、
前記作業の各段階が前記既定の順序で正常に行われていないと判定した場合には、その判定後に、同判定の直前の時点での実施順序に該当する前記作業の段階を前記作業者が行っていることを検出した場合に、前記作業が正常復帰したと判定することと、
を行う作業支援システム。
続きを表示（約 380 文字）【請求項２】
前記処理部は、前記作業が正常に行われていないと判定した場合に前記作業監視を中止する請求項１に記載の作業支援システム。
【請求項３】
前記処理部は、前記作業が正常に行われていないと判定した時点から既定時間以内に前記作業が正常復帰したと判定しなかった場合に前記作業監視を中止する請求項１に記載の作業支援システム。
【請求項４】
前記処理部は、前記作業が正常に行われていないと判定した後、前記順序が１番目の前記作業の段階を前記作業者が行っていることを検出した場合に、前記作業が新規に開始されたと判定する請求項１に記載の作業支援システム。
【請求項５】
前記処理部は、前記骨格座標に基づく前記作業の段階の検出を、機械学習により学習された学習モデルを用いて行う請求項１に記載の作業支援システム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、作業支援システムに関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
製造現場での部品組付けなどの作業を支援するシステムとして、特許文献１に記載の作業支援システムが知られている。この作業支援システムは、作業者の手元を撮影する撮影装置を備えている。そして、この作業支援システムは、撮影装置の映像から取得した手指の骨格座標に基づき、部品が正確に組付けられたか否かを判定している。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－１６３２９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
作業者が一時的に作業を中断する場合がある。上記作業支援システムには、こうした中断後の作業の再開を確認する手段が用意されていない。
【課題を解決するための手段】
【０００５】
上記課題を解決する作業支援システムは、既定の順序で行われる複数の段階を通じて行われる作業者の作業を支援するシステムであって、前記作業者を撮影する撮影装置と、処理部と、を備えている。そして、同作業支援システムの処理部は、前記撮影装置の画像から抽出した前記作業者の骨格座標に基づき、前記作業者が実施中の前記作業の段階を検出するとともに、検出した前記作業の段階が前記既定の順序で正常に行われているか否かを判定することで作業監視を行うことと、前記作業の各段階が前記既定の順序で正常に行われていないと判定した場合には、その判定後に、同判定の時点での実施順序に該当する前記作業の段階を行っていることを検出した場合に、前記作業が正常復帰したと判定することと、を行うように構成されている。
【０００６】
上記作業支援システムの処理部は、前記骨格座標に基づく前記作業の段階の検出を、機械学習により学習された学習モデルを用いて行うように構成可能である。
【発明の効果】
【０００７】
上記作業支援システムには、監視中の作業が中断後に再開した場合、その再開を確認できるという効果がある。
【図面の簡単な説明】
【０００８】
作業場の模式的な平面図である。
作業支援システムの一実施形態の構成を模式的に示す図である。
骨格座標の設定態様の一例を示す図である。
作業支援システムにおいて実行される作業監視ルーチンのフローチャートである。
作業の正誤判定用の学習モデルの構成を模式的に示す図である。
【発明を実施するための形態】
【０００９】
以下、作業支援システムの一実施形態を、図１～図５を参照して詳細に説明する。
＜支援対象の作業について＞
まず、図１を参照して、本実施形態の作業支援システムが支援の対象とする作業について説明する。本実施形態では、ワークＷに対する部品の組付作業を支援するように作業支援システムを構成した場合を例として説明する。本実施形態の作業支援システムは、溶接作業、塗装作業、検査作業などの組付作業以外の作業を支援するように構成することも可能である。
【００１０】
図１には、部品の組付作業が行われる作業場の模式的な平面図が示されている。ここでの組付け作業は、一人の作業者Ｐにより行われる。作業場には、作業中にワークＷが載置される作業台３０が設置されている。作業台３０の側方には、ワークＷに組付ける各部品Ａ～Ｄがそれぞれ収容された部品箱３２Ａ～３２Ｄが設置されている。部品箱３２Ａ～３２Ｄが設置された側とは反対側の作業台３０の側方には、部品Ａ～Ｄの組付けに用いる各ボルトａ～ｄがそれぞれ収容されたボルト箱３１ａ～３１ｄが設置されている。ボルト箱３１ａ～３１ｄ及び部品箱３２Ａ～３２Ｄの正面には、それぞれインジケータ３３が設置されている。さらに作業場には、撮影装置２０が設置されている。撮影装置２０は、作業台３０、ボルト箱３１ａ～３１ｄ、部品箱３２Ａ～３２Ｄとともに、作業中の作業者Ｐを撮影するように設置されている。
（【００１１】以降は省略されています）

関連特許