特許ウォッチ

公開番号2025041308
公報種別公開特許公報(A)
公開日2025-03-26
出願番号2023148508
出願日2023-09-13
発明の名称作業支援システム
出願人トヨタ自動車株式会社
代理人個人,個人
主分類G06T 7/20 20170101AFI20250318BHJP(計算;計数)
要約【課題】作業の正誤判定の精度を向上する。
【解決手段】作業支援システムは、作業者が作業を行う作業場を撮影する撮影装置20と、撮影装置20の画像から抽出した作業者の骨格座標の時系列データに基づいて作業の正誤判定を実施する端末装置10と、を備えている。正誤判定に際して端末装置10は、画像に基づき、作業者の手が既定の作業領域内に位置しているか否かを判定している。そして、端末装置10は、作業者の手が作業領域内に位置していないと判定しているときの骨格座標の時系列データを用いずに正誤判定を実施する。
【選択図】図2
特許請求の範囲【請求項１】
作業者が作業を行う作業場を撮影する撮影装置と、前記撮影装置の画像から抽出した前記作業者の骨格座標の時系列データに基づいて前記作業の正誤判定を実施する処理部と、を備える作業支援システムであって、
前記処理部は、前記画像に基づき、前記作業者の手が既定の作業領域内に位置しているか否かを判定するとともに、前記作業者の手が前記作業領域内に位置していないと判定しているときの前記骨格座標の時系列データを用いずに前記正誤判定を実施する
作業支援システム。
続きを表示（約 430 文字）【請求項２】
前記作業として複数の作業が存在しており、
前記処理部は、前記正誤判定において、前記複数の作業が既定の順序で実施されているか否かを判定する
請求項１に記載の作業支援システム。
【請求項３】
前記作業として複数の作業が存在しており、
当該作業支援システムは、前記作業者が次に行う作業を指示する指示部を備えており、
前記処理部は、前記複数の作業のそれぞれの正誤を判定可能、かつ前記指示部が指示した作業についての前記正誤判定を実施するように構成されている
請求項１に記載の作業支援システム。
【請求項４】
前記処理部は、前記骨格座標に基づき、前記作業者の手が前記作業領域内に位置しているか否かを判定する請求項１に記載の作業支援システム。
【請求項５】
機械学習により学習した学習モデルを用いて前記正誤判定を実施する請求項１に記載の作業支援システム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、作業支援システムに関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
映像中の人物の行動を検出するシステムとして、特許文献１に記載のシステムが知られている。このシステムでの行動の検出は、映像のフレーム毎に人物の骨格座標を抽出するとともに、その骨格座標から、人物の姿勢やその時間変化を表す動作特徴量を算出することで行われている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２２－００３４３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
製造現場では、部品組付け、溶接、塗装、検査等の作業が行われる。こうした作業の正誤を、映像から抽出した作業者の骨格座標に基づき判定することが考えられる。作業者は、作業の合間に、汗を拭くなどの、作業に直接関係しない行動を取ることがある。上記のような骨格座標に基づく正誤判定では、作業に直接関係しない行動を作業者が取った場合に、間違った作業をしていると誤判定される虞がある。
【課題を解決するための手段】
【０００５】
上記課題を解決する作業支援システムは、作業者が作業を行う作業場を撮影する撮影装置と、前記撮影装置の画像から抽出した前記作業者の骨格座標の時系列データに基づいて前記作業の正誤判定を実施する処理部と、を備える作業支援システムであって、前記処理部は、前記画像に基づき、前記作業者の手が既定の作業領域内に位置しているか否かを判定するとともに、前記作業者の手が前記作業領域内に位置していないと判定しているときの前記骨格座標の時系列データを用いずに前記正誤判定を実施するように構成されている。
【０００６】
同作業支援システムは、例えば機械学習により学習した学習モデルを用いて前記正誤判定を実施するよう構成可能である。
【発明の効果】
【０００７】
上記作業支援システムには、作業の正誤判定の精度を向上する効果がある。
【図面の簡単な説明】
【０００８】
作業場の模式的な平面図である。
作業支援システムの一実施形態の構成を模式的に示す図である。
骨格座標の設定態様の一例を示す図である。
作業支援システムにおいて実行される処理の流れを示すフローチャートである。
作業支援システムが搬入判定に用いる学習モデルの構成を模式的に示す図である。
【発明を実施するための形態】
【０００９】
以下、作業支援システムの一実施形態を、図１～図５を参照して詳細に説明する。
＜支援対象の作業について＞
まず、図１を参照して、本実施形態の作業支援システムが支援の対象とする作業について説明する。本実施形態では、ワークＷに対する部品の組付作業を支援するように作業支援システムを構成した場合を例として説明する。本実施形態の作業支援システムは、溶接作業、塗装作業、検査作業などの組付作業以外の作業を支援するように構成することも可能である。
【００１０】
図１には、部品の組付作業が行われる作業場の模式的な平面図が示されている。ここでの組付け作業は、一人の作業者Ｐにより行われる。作業場には、作業中にワークＷが載置される作業台３０が設置されている。作業台３０の側方には、ワークＷに組付ける各部品Ａ～Ｄがそれぞれ収容された部品箱３２Ａ～３２Ｄが設置されている。部品箱３２Ａ～３２Ｄが設置された側とは反対側の作業台３０の側方には、部品Ａ～Ｄの組付けに用いる各ボルトａ～ｄがそれぞれ収容されたボルト箱３１ａ～３１ｄが設置されている。ボルト箱３１ａ～３１ｄ及び部品箱３２Ａ～３２Ｄの正面には、それぞれインジケータ３３が設置されている。さらに作業場には、撮影装置２０が設置されている。撮影装置２０は、作業台３０、ボルト箱３１ａ～３１ｄ、部品箱３２Ａ～３２Ｄとともに、作業中の作業者Ｐを撮影するように設置されている。
（【００１１】以降は省略されています）

関連特許