特許ウォッチ

公開番号2024120216
公報種別公開特許公報(A)
公開日2024-09-05
出願番号2023026861
出願日2023-02-24
発明の名称ハンドリング装置、ハンドリング方法及びプログラム
出願人株式会社東芝
代理人弁理士法人酒井国際特許事務所
主分類B25J 13/08 20060101AFI20240829BHJP(手工具;可搬型動力工具;手工具用の柄;作業場設備;マニプレータ)
要約【課題】対象物をピッキングする姿勢をより容易に推定する。
【解決手段】実施形態のハンドリング装置は、面情報算出部と投影変換部と姿勢算出部と逆投影変換部と最終姿勢算出部とを備える。面情報算出部は、第1学習モデルを用いて、対象物の面情報を算出する。投影変換部は、面情報から、入力画像又は特徴マップに含まれる1以上の面を特定し、入力画像又は特徴マップを、1以上の面それぞれにある点の法線方向の上方の視点から見た1以上の投影画像へ変換する。姿勢算出部は、1以上の投影画像のそれぞれで、対象物を把持する把持姿勢を推定する第2学習モデルを用いて、把持姿勢を算出する。逆投影変換部は、1以上の投影画像上で算出された把持姿勢を、第1座標系における把持姿勢に変換する。最終姿勢算出部は、第1座標系における把持姿勢を、入力画像又は特徴マップへ投影することによって、対象物を把持するピッキングツール部の最終姿勢を算出する。
【選択図】図5
特許請求の範囲【請求項１】
対象物を含む入力画像から算出された前記入力画像の特徴を示す特徴マップから前記対象物の面情報を推定する第１学習モデルを用いて、前記対象物の面情報を算出する面情報算出部と、
前記面情報から、前記入力画像又は前記特徴マップに含まれる１以上の面を特定し、前記入力画像又は前記特徴マップを、前記１以上の面それぞれにある点の法線方向の上方の視点から見た１以上の投影画像又は投影特徴マップへ変換する投影変換部と、
前記１以上の投影画像又は投影特徴マップのそれぞれで、前記対象物を把持する把持姿勢を推定する第２学習モデルを用いて、前記把持姿勢を算出する姿勢算出部と、
前記１以上の投影画像又は投影特徴マップ上で算出された把持姿勢を、第１座標系における把持姿勢に変換する逆投影変換部と、
前記第１座標系における把持姿勢を、前記入力画像又は前記特徴マップへ投影することによって、前記対象物を把持するピッキングツール部の最終姿勢を算出する最終姿勢算出部と、
を備えるハンドリング装置。
続きを表示（約 1,700 文字）【請求項２】
前記第１座標系は、原点から見た空間を表すワールド座標系であり、
前記第１座標系における把持姿勢は、前記第１座標系における位置を示す３次元座標、前記第１座標系のｘ軸と前記ピッキングツール部を基準にしたローカル座標を示す第２座標系のＸ軸とのなす角、前記第１座標系のｙ軸と前記第２座標系のＹ軸とのなす角、及び、前記第１座標系のｚ軸と前記第２座標系のＺ軸とのなす角を含む、
請求項１に記載のハンドリング装置。
【請求項３】
前記投影変換部は、前記面情報に基づき、前記入力画像を撮像したカメラのカメラ座標を示す第３座標系から、前記１以上の面それぞれの座標系を示す第４座標系への投影変換行列を作り、前記投影変換行列によって、前記入力画像又は前記特徴マップの投影変換を行い、前記投影画像又は投影特徴マップの座標系を示す第５座標系における座標値を算出することによって、前記投影画像を生成する、
請求項１又は２に記載のハンドリング装置。
【請求項４】
前記逆投影変換部は、前記投影変換行列と、前記１以上の投影画像上で算出された把持姿勢とに基づいて逆投影変換行列を算出し、前記第５座標系で表された把持姿勢を、前記第１座標系で表された把持姿勢に変換する、
請求項３に記載のハンドリング装置。
【請求項５】
前記ピッキングツール部は、複数の吸着パッドを持ち、
前記最終姿勢算出部は、前記入力画像又は前記特徴マップ上で表された前記ピッキングツール部の最終姿勢を示す領域と、前記面情報から特定される面領域とのＡＮＤ計算によって、前記面領域に当てる吸着パッドをＯＮに決定し、前記面領域に当てていない吸着パッドをＯＦＦに決定する、
請求項１又は２に記載のハンドリング装置。
【請求項６】
ハンドリング装置が、対象物を含む入力画像から算出された前記入力画像の特徴を示す特徴マップから前記対象物の面情報を推定する第１学習モデルを用いて、前記対象物の面情報を算出するステップと、
前記ハンドリング装置が、前記面情報から、前記入力画像又は前記特徴マップに含まれる１以上の面を特定し、前記入力画像又は前記特徴マップを、前記１以上の面それぞれにある点の法線方向の上方の視点から見た１以上の投影画像へ変換するステップと、
前記ハンドリング装置が、前記１以上の投影画像のそれぞれで、前記対象物を把持する把持姿勢を推定する第２学習モデルを用いて、前記把持姿勢を算出するステップと、
前記ハンドリング装置が、前記１以上の投影画像上で算出された把持姿勢を、第１座標系における把持姿勢に変換するステップと、
前記ハンドリング装置が、前記第１座標系における把持姿勢を、前記入力画像又は前記特徴マップへ投影することによって、前記対象物を把持するピッキングツール部の最終姿勢を算出するステップと、
を含むハンドリング方法。
【請求項７】
コンピュータを、
対象物を含む入力画像から算出された前記入力画像の特徴を示す特徴マップから前記対象物の面情報を推定する第１学習モデルを用いて、前記対象物の面情報を算出する面情報算出部と、
前記面情報から、前記入力画像又は前記特徴マップに含まれる１以上の面を特定し、前記入力画像又は前記特徴マップを、前記１以上の面それぞれにある点の法線方向の上方の視点から見た１以上の投影画像へ変換する投影変換部と、
前記１以上の投影画像のそれぞれで、前記対象物を把持する把持姿勢を推定する第２学習モデルを用いて、前記把持姿勢を算出する姿勢算出部と、
前記１以上の投影画像上で算出された把持姿勢を、第１座標系における把持姿勢に変換する逆投影変換部と、
前記第１座標系における把持姿勢を、前記入力画像又は前記特徴マップへ投影することによって、前記対象物を把持するピッキングツール部の最終姿勢を算出する最終姿勢算出部、
として機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態はハンドリング装置、ハンドリング方法及びプログラムに関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
物流倉庫でバラ積みされた荷物などを扱うピッキング自動化システムなど、物体ハンドリング作業を自動化するロボットシステムが従来から知られている。このようなロボットシステムは、画像情報等のセンサデータを基に、物体の把持位置や姿勢、投入先の箱詰め位置や姿勢を自動的に算出し、把持機構を持つロボットが実際に把持や箱詰めを実行する。近年では、機械学習技術の発展により、学習によって、ロボットの適切な動作を実現する技術が利用されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－８８０１９号公報
特許第７０００２１３号公報
特許第６０３６６６２号公報
特開２０１７－３０１３５号公報
特開２０１８－２０２５５０号公報
特開２０２１－６１０１４号公報
特開２０２０－７７２３１号公報
【非特許文献】
【０００４】
Ｍｏｕｓａｖｉａｎｅｔａｌ．（２０１９）．６－ｄｏｆｇｒａｓｐｎｅｔ：Ｖａｒｉａｔｉｏｎａｌｇｒａｓｐｇｅｎｅｒａｔｉｏｎｆｏｒｏｂｊｅｃｔｍａｎｉｐｕｌａｔｉｏｎ．ＩｎＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥ／ＣＶＦＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ（ｐｐ．２９０１－２９１０）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、対象物をピッキングする姿勢をより容易に推定することが難しかった。
【課題を解決するための手段】
【０００６】
実施形態のハンドリング装置は、面情報算出部と投影変換部と姿勢算出部と逆投影変換部と最終姿勢算出部とを備える。面情報算出部は、対象物を含む入力画像から算出された前記入力画像の特徴を示す特徴マップから前記対象物の面情報を推定する第１学習モデルを用いて、前記対象物の面情報を算出する。投影変換部は、前記面情報から、前記入力画像又は前記特徴マップに含まれる１以上の面を特定し、前記入力画像又は前記特徴マップを、前記１以上の面それぞれにある点の法線方向の上方の視点から見た１以上の投影画像又は投影特徴マップへ変換する。姿勢算出部は、前記１以上の投影画像又は投影特徴マップのそれぞれで、前記対象物を把持する把持姿勢を推定する第２学習モデルを用いて、前記把持姿勢を算出する。逆投影変換部は、前記１以上の投影画像又は投影特徴マップ上で算出された把持姿勢を、第１座標系における把持姿勢に変換する。最終姿勢算出部は、前記第１座標系における把持姿勢を、前記入力画像又は前記特徴マップへ投影することによって、前記対象物を把持するピッキングツール部の最終姿勢を算出する。
【図面の簡単な説明】
【０００７】
実施形態のハンドリングシステム１００の構成の例を示す図。
実施形態のピッキングツール部の例１を示す図。
実施形態のピッキングツール部の例２を示す図。
実施形態のピッキングツール部の例３を示す図。
実施形態のピッキングツール部の例４を示す図。
実施形態のピッキングツール情報の例を示す図。
実施形態のコントローラの機能構成の例を示す図。
実施形態の計画部の機能構成の例を示す図。
実施形態の最終姿勢算出の方式１の処理例を示す図。
実施形態の最終姿勢算出の方式２の処理例を示す図。
実施形態の把持姿勢の投影画像上の表現の例１（吸着型の場合）を示す図。
実施形態の把持姿勢の投影画像上の表現の例２（把持型の場合）を示す図。
実施形態の吸着把持姿勢の例を示す図。
実施形態のハンドリング方法の例を示すフローチャート。
実施形態のコントローラのハードウェア構成の例を示す図。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、ハンドリング装置、ハンドリング方法及びプログラムの実施形態を詳細に説明する。
【０００９】
従来は、例えば対象物の真上から、対象物を把持することが想定されており、画像情報に基づいて、ニューラルネットワークで把持可能な姿勢の画像上の表現（例えば、把持位置の画像座標、及び、把持姿勢の画像水平軸とのなす角）を推定する事例は多い。しかしながら、真上以外から取る場合は、原点から見た空間を表すワールド座標系における６Ｄ姿勢を計算する必要がある。ニューラルネットワークで全ての把持対象物の６Ｄ姿勢を一気に推定することは難しく、把持候補姿勢のｓａｍｐｌｅｒを設計または学習することが必要とされていた（非特許文献１）。
【００１０】
はじめに、物体ハンドリングロボットの一例であるハンドリング装置（ピッキングロボット）とロボット統合管理システムとを備えるハンドリングシステムの概要について説明する。
（【００１１】以降は省略されています）

関連特許