特許ウォッチ

公開番号2024030131
公報種別公開特許公報(A)
公開日2024-03-07
出願番号2022132714
出願日2022-08-23
発明の名称ワーク保持装置
出願人トヨタ自動車株式会社
代理人個人
主分類G06T 7/00 20170101AFI20240229BHJP(計算;計数)
要約【課題】準備にかかる手間を減少させつつピッキング時のエラー判定の精度を向上する。
【解決手段】受光に応じて生成される画像と、ワークの3次元情報を示す深度画像と、を取得する画像取得部11と、ワークの保持候補点を算出する保持候補点算出部12と、保持候補点の周辺を保持候補点領域に切り出し部13と、受光に応じて生成された画像を保持候補点領域で切り出した第1画像を生成する第1画像生成部14と、深度画像を保持候補点領域で切り出した第2画像を生成する第2画像生成部15と、第1画像と第2画像とを成分で分割し、成分ごとに第1画像と第2画像を掛け合わせた第3画像を生成する第3画像生成部と16、第3画像と学習モデルを利用した学習結果と、を用いてワーク単体を保持可能か否かを判定する判定部17と、を備え、判定部17が、ワーク単体を保持できないと判定した場合には、保持候補点算出部12は保持候補点の再算出を行う。
【選択図】図1
特許請求の範囲【請求項１】
ワークの撮影を行い、受光に応じて生成される画像と、前記ワークの３次元情報を示す深度画像と、を取得する画像取得部と、
前記画像取得部で取得されたワークの３次元情報から、ワークの保持点の候補である保持候補点を算出する保持候補点算出部と、
前記保持候補点算出部で算出された保持候補点の周辺を、保持候補点領域として設定する切り出し部と、
前記画像取得部において受光に応じて生成された画像を、前記切り出し部で設定した保持候補点領域で切り出した第１画像を生成する第１画像生成部と、
前記画像取得部で取得した深度画像を、前記切り出し部で設定した保持候補点領域で切り出した第２画像を生成する第２画像生成部と、
前記第１画像と、前記第２画像と、のそれぞれをＲＧＢ成分に分割し、成分ごとに前記第１画像と前記第２画像の各画素値を掛け合わせ、判定用画像である第３画像を生成する第３画像生成部と、
前記第３画像生成部で生成した第３画像と、あらかじめ学習モデルを利用して行った学習結果と、を用いてワーク単体を保持することができるか否かを判定する判定部と、を備え、
前記判定部が、ワーク単体を保持できないと判定した場合には、前記保持候補点算出部は保持候補点の再算出を行う、
ワーク保持装置。

発明の詳細な説明【技術分野】
【０００１】
本開示は、ワーク保持装置に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
近年、ワークの３次元情報を用いてワークの保持候補点を認識し、ワークの保持点を決定する技術が用いられている。例えば、人の代わりにケース内のワークを１個ずつ取り出すロボットにこの技術が利用されている。典型的には、ここで対象とするロボットは、ワークを磁力で吸引することが可能であるとともに、ワークを保持可能なハンドを有している。
【０００３】
特許文献１には、ロボットによるピッキング作業の生産性向上のために、目標把持位置を決定する方法が提案されている。具体的には、無作為に積み重ねられた対象ワークに対して、１対の画像からなるステレオ画像を上方から撮影し、視差を利用して撮像位置からワークまでの距離を算出してピッキングを行う。このとき、どのワークをピッキングするかの決定に用いる認識ソフトウェアでは、あらかじめ保存しておいたワークの形状データと整合している割合が最も高いものを選ぶという処理が行われ、この整合性を確かめるための探索において、探索エリアを距離に応じて変動させることにより高速化を図っている。
【先行技術文献】
【特許文献】
【０００４】
特開２０１７－３０１１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された目標把持位置の決定方法では、１対の画像からなるステレオ画像について、撮像画像それぞれでノイズがのる可能性があるとともに、ノイズを除去する仕組みが無い。そのため、撮像されたステレオ画像からワークまでの距離の算出に多少の誤差を生じる場合があり、この誤差に起因してエラーが発生し、ピッキング精度が低下する可能性がある。
【０００６】
また、認識ソフトウェアでピッキング対象を選定するために、ワーク形状データの参照が必要であり、そのワーク形状のデータをあらかじめ保存しておく必要があることから、データの準備に手間がかかるという問題もある。
【０００７】
本開示は、準備にかかる手間を減少させつつ、ピッキング時のエラー判定の精度を向上させたワーク保持装置を提供するものである。
【課題を解決するための手段】
【０００８】
本開示にかかるワーク保持装置は、ワークの撮影を行い、受光に応じて生成される画像と、前記ワークの３次元情報を示す深度画像と、を取得する画像取得部と、前記画像取得部で取得されたワークの３次元情報から、ワークの保持点の候補である保持候補点を算出する保持候補点算出部と、前記保持候補点算出部で算出された保持候補点の周辺を、保持候補点領域として設定する切り出し部と、前記画像取得部において受光に応じて生成された画像を、前記切り出し部で設定した保持候補点領域で切り出した第１画像を生成する第１画像生成部と、前記画像取得部で取得した深度画像を、前記切り出し部で設定した保持候補点領域で切り出した第２画像を生成する第２画像生成部と、前記第１画像と、前記第２画像と、のそれぞれをＲＧＢ成分に分割し、成分ごとに前記第１画像と前記第２画像の各画素値を掛け合わせ、判定用画像である第３画像を生成する第３画像生成部と、前記第３画像生成部で生成した第３画像と、あらかじめ学習モデルを利用して行った学習結果と、を用いてワーク単体を保持することができるか否かを判定する判定部と、を備え、前記判定部が、ワーク単体を保持できないと判定した場合には、前記保持候補点算出部は保持候補点の再算出を行う。
これにより、前処理を施した画像を利用した機械学習による学習を行い、ピッキング精度の向上をはかることができる。
【発明の効果】
【０００９】
本開示よれば、準備にかかる手間を減少させつつ、ピッキング時のエラー判定の精度を向上することができるワーク保持装置を提供することができる。
【図面の簡単な説明】
【００１０】
ワーク保持装置の構成物品を示す図である。
ワーク保持装置によるピッキングエラー判定のフローを示す図である。
ピッキングエラー判定のフローの一部の詳細を示した図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許