特許ウォッチ

公開番号2025173952
公報種別公開特許公報(A)
公開日2025-11-28
出願番号2024079854
出願日2024-05-16
発明の名称作業システム
出願人トヨタ自動車株式会社
代理人弁理士法人明成国際特許事務所
主分類G06Q 50/04 20120101AFI20251120BHJP(計算;計数)
要約【課題】作業情報を自律的または先行的に出力できる技術を提供する。
【解決手段】作業システムは、1以上の定点カメラと、1以上の台車であって、作業に用いる工具と、作業対象物に組み付ける部品と、の少なくとも一方を収容する収容部と、1以上の台車カメラと、作業情報を出力する1以上の情報出力装置と、を有する1以上の台車と、情報出力装置の動作を制御する制御装置であって、定点カメラと台車カメラとの少なくとも一方から出力される撮像画像を取得する取得部と、撮像画像を学習済みの機械学習モデルに入力することで、撮像画像が表す物体の画像上での位置および姿勢を基に、撮像画像が表す作業が複数の作業工程のうちいずれであるかを判断する判断部と、判断部により判断された作業工程に応じた作業情報を生成して、生成した作業情報を情報出力装置に送信する出力制御部と、を有する制御装置と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
作業システムであって、
作業場所を俯瞰して撮像する１以上の定点カメラと、
１以上の台車であって、
作業に用いる工具と、作業対象物に組み付ける部品と、の少なくとも一方を収容する収容部と、
前記台車と前記台車の周辺領域とを撮像する１以上の台車カメラと、
前記作業場所において前記台車を用いて前記作業に従事する作業者に前記作業に関する作業情報を出力する１以上の情報出力装置と、を有する１以上の台車と、
前記情報出力装置の動作を制御する制御装置であって、
前記定点カメラと前記台車カメラとの少なくとも一方から出力される撮像画像を取得する取得部と、
前記撮像画像を学習済みの機械学習モデルに入力することで、前記撮像画像が表す物体の画像上での位置および姿勢を基に、前記撮像画像が表す作業が複数の作業工程のうちいずれであるかを判断する判断部と、
前記判断部により判断された前記作業工程に応じた前記作業情報を生成して、生成した前記作業情報を前記情報出力装置に送信する出力制御部と、を有する制御装置と、を備える、作業システム。
続きを表示（約 900 文字）【請求項２】
請求項１に記載の作業システムであって、
前記判断部は、前記撮像画像を学習済みの機械学習モデルに入力することで取得される取得画像であって、前記撮像画像が表す前記物体の前記画像上での前記位置および前記姿勢を表す取得画像を用いて、前記撮像画像が表す前記作業が前記複数の作業工程のうちいずれであるかを判断し、
前記撮像画像が表す前記物体が前記台車と前記工具と前記部品との少なくともいずれかである場合に、前記取得画像は、セグメンテーションにより前記撮像画像を構成する領域を前記物体と前記物体以外とに分離させたセグメンテーション画像であり、
前記撮像画像が表す前記物体が前記作業者である場合に、前記取得画像は、キーポイント検出により検出された前記作業者の筋骨格を表すキーポイント画像であり、
前記出力制御部は、前記判断部により判断された前記作業工程における作業手順を示す情報であって、前記台車の位置と、前記作業に用いる前記工具の種類と、前記作業に用いる前記工具の前記収容部内における位置と、前記作業対象物に組み付ける前記部品の種類と、前記作業対象物に組み付ける前記部品の前記収容部内における位置と、前記作業対象物における前記部品の組み付け位置と、前記作業者の動作と、の少なくともいずれかの情報を含む前記作業情報を生成する、作業システム。
【請求項３】
請求項１に記載の作業システムであって、
前記出力制御部は、前記撮像画像が表す前記作業者と、前記撮像画像が表す前記作業者とは異なる他の作業者と、の前記作業における差異を示す情報を含む前記作業情報を生成する、作業システム。
【請求項４】
請求項１に記載の作業システムであって、
前記出力制御部は、前記撮像画像が表す前記作業者に応じた前記作業情報を生成する、作業システム。
【請求項５】
請求項１に記載の作業システムであって、
前記出力制御部は、前記作業に異常が発生した場合に、前記異常に関する情報を含む前記作業情報を生成する、作業システム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、作業システムに関する。
続きを表示（約 3,400 文字）【背景技術】
【０００２】
従来、作業者とロボットとが協調して作業する場合に、作業者の教育を支援するための情報を提供する情報提供装置が知られている（特許文献１）。この技術では、情報提供装置は、複数の工程のうちの１つの工程の選択をユーザから受け付ける画面を提供する。そして、情報提供装置は、ユーザによって選択された工程に対応する情報を画面に表示する。
【先行技術文献】
【特許文献】
【０００３】
特開２０２３－８７７０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術では、情報提供装置は、機械学習を利用することなく、ユーザによって選択された工程に対応する情報を画面に表示している。そのため、作業に関する情報を自律的に生成して出力したり、作業開始前に先行的に情報を出力したりすることは困難である。
【課題を解決するための手段】
【０００５】
本開示は、以下の形態として実現することが可能である。
【０００６】
（１）本開示の一形態によれば、作業システムが提供される。作業システムは、作業場所を俯瞰して撮像する１以上の定点カメラと、１以上の台車であって、作業に用いる工具と、作業対象物に組み付ける部品と、の少なくとも一方を収容する収容部と、前記台車と前記台車の周辺領域とを撮像する１以上の台車カメラと、前記作業場所において前記台車を用いて前記作業に従事する作業者に前記作業に関する作業情報を出力する情報出力装置と、を有する１以上の台車と、前記情報出力装置の動作を制御する制御装置であって、前記定点カメラと前記台車カメラとの少なくとも一方から出力される撮像画像を取得する取得部と、前記撮像画像を学習済みの機械学習モデルに入力することで、前記撮像画像が表す物体の画像上での位置および姿勢を基に、前記撮像画像が表す作業が複数の作業工程のうちいずれであるかを判断する判断部と、前記判断部により判断された前記作業工程に応じた前記作業情報を生成して、生成した前記作業情報を前記情報出力装置に送信する出力制御部と、を有する制御装置と、を備える。この形態によれば、作業システムは、ユーザによって作業工程の選択がなされずとも、機械学習を利用して作業工程を判断できる。そのため、作業システムは、実行中の作業工程に応じた作業情報を自律的に生成して情報出力装置から出力したり、実行中の作業工程の次に実行される次作業工程が開始される前に先行的に次作業工程に応じた作業情報を情報出力装置から出力したりできる。
（２）上記形態であって、前記判断部は、前記撮像画像を学習済みの機械学習モデルに入力することで取得される取得画像であって、前記撮像画像が表す前記物体の前記画像上での前記位置および前記姿勢を表す取得画像を用いて、前記撮像画像が表す前記作業が前記複数の作業工程のうちいずれであるかを判断し、前記撮像画像が表す前記物体が前記台車と前記工具と前記部品との少なくともいずれかである場合に、前記取得画像は、セグメンテーションにより前記撮像画像を構成する領域を前記物体と前記物体以外とに分離させたセグメンテーション画像であり、前記撮像画像が表す前記物体が前記作業者である場合に、前記取得画像は、キーポイント検出により検出された前記作業者の筋骨格を表すキーポイント画像であり、前記出力制御部は、前記判断部により判断された前記作業工程における作業手順を示す情報であって、前記台車の位置と、前記作業に用いる前記工具の種類と、前記作業に用いる前記工具の前記収容部内における位置と、前記作業対象物に組み付ける前記部品の種類と、前記作業対象物に組み付ける前記部品の前記収容部内における位置と、前記作業対象物における前記部品の組み付け位置と、前記作業者の動作と、の少なくともいずれかの情報を含む前記作業情報を生成してもよい。この形態によれば、作業システムは、工具のセグメンテーション画像と、部品のセグメンテーション画像と、キーポイント画像と、の少なくともいずれかを用いて、作業工程を判断できる。そして、作業システムは、撮像画像が表す作業として判断された作業工程における作業手順を示す情報を情報出力装置から出力できる。これにより、作業者が作業手順を忘れた場合に、作業システムは、作業者に作業手順を速やかに確認させることができる。また、作業システムは、作業者に作業手順を逐次確認させながら作業させることができる。
（３）上記形態であって、前記出力制御部は、前記撮像画像が表す前記作業者と、前記撮像画像が表す前記作業者とは異なる他の作業者と、の前記作業における差異を示す情報を含む前記作業情報を生成してもよい。この形態によれば、作業システムは、他の作業者との差異を示す情報を情報出力装置から出力できる。これにより、作業システムは、他の作業者との差異を認識させることで、作業者の作業改善を支援できる。
（４）上記形態であって、前記出力制御部は、前記撮像画像が表す前記作業者に応じた前記作業情報を生成してもよい。この形態によれば、作業システムは、撮像画像が表す作業者に応じた作業情報を情報出力装置から出力できる。これにより、作業システムは、作業者の作業性を向上させることができる。
（５）上記形態であって、前記出力制御部は、前記作業に異常が発生した場合に、前記異常に関する情報を含む前記作業情報を生成してもよい。この形態によれば、作業システムは、作業に異常が発生した場合に、異常に関する情報を情報出力装置から出力できる。
本開示は、上記の作業システム以外の種々の形態で実現することが可能である。例えば、作業システムの製造方法、作業システムの制御方法、その制御方法を実現するコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体等の形態で実現することができる。
【図面の簡単な説明】
【０００７】
作業システムの構成を示す図。
台車の動作状態の遷移を示す状態遷移図。
中央制御装置の構成を示すブロック図。
作業システムの動作フローの一例を示す図。
作業画面の一例を示す図。
作業画面の他の例を示す図。
【発明を実施するための形態】
【０００８】
Ａ．第１実施形態：
図１は、作業システム１の構成を示す図である。作業システム１は、作業場所Ａにおいて作業者Ｐが作業対象物Ｗ１，Ｗ２に作業をするために用いられる。本実施形態では、作業対象物Ｗ１，Ｗ２は、車両である。作業場所Ａは、車両を製造する工場である。工場は、例えば、作業ラインＬと、準備エリアＲとを含む。作業ラインＬでは、コンベア等の搬送設備により作業対象物Ｗ１，Ｗ２が搬送される。作業者Ｐは、作業ラインＬ上を搬送される作業対象物Ｗ１，Ｗ２の予め定められた組み付け位置に、予め定められた組み付け工具を用いて、予め定められた部品を組み付ける。準備エリアＲでは、作業に用いる工具と、作業対象物Ｗ１，Ｗ２に組み付ける部品と、の少なくとも一方が台車４０上に準備される。作業者Ｐは、準備エリアＲに設置された棚であって、工具や部品を保管する棚を開けて、所望の工具や部品を把持して取り出す。そして、作業者Ｐは、取り出した工具や部品を台車４０の予め定められた位置にセットし、棚を閉める。つまり、本実施形態では、部品の選択と組み付けとを分離した作業方式により作業が実行される。部品の選択と組み付けとを分離した作業方式を「ＳＰＳ（ＳｅｔＰａｒｔｓＳｕｐｐｌｙ）」ともいう。
【０００９】
作業システム１は、１以上の定点カメラ２１～２６と、１以上の台車４０と、中央制御装置６０とを備える。
【００１０】
定点カメラ２１～２６は、作業場所Ａを俯瞰して撮像する。定点カメラ２１～２６は、図示しない通信装置を備えており、有線通信あるいは無線通信により、中央制御装置６０等の他の装置と通信できる。定点カメラ２１～２６は、例えば、作業場所Ａの天井、壁、支柱等の支持部材に固定されている。
（【００１１】以降は省略されています）

関連特許