特許ウォッチ

公開番号2025126909
公報種別公開特許公報(A)
公開日2025-08-29
出願番号2025024045
出願日2025-02-18
発明の名称ロボット作業のための視覚ポーズ推定の学習
出願人ファナック株式会社
代理人個人,個人,個人
主分類B25J 13/00 20060101AFI20250822BHJP(手工具;可搬型動力工具;手工具用の柄;作業場設備;マニプレータ)
要約【課題】視覚ポーズ推定を使用してロボットスキルを学習するのための方法及びシステムを提供する。
【解決手段】組立やワーク位置決め作業等のタスクを実行するロボットアームには、カメラが搭載される。カメラは、複数の照明条件下で、複数の位置からの作業シーンの訓練画像を提供する。各画像について、目標ポーズに対するツール中心点の相対ポーズが記録される。画像は、ニューラルネットワークを訓練して推測ポーズと相対ポーズとの差分を最小化するために、教師あり学習プロセスで使用される。訓練されたニューラルネットワークは、ロボットの視覚サーボ制御で使用される相対目標位置の計算に使用される。ロボットは、ワークの最終位置決め又は嵌合する部品に接触したワークの配置のために、力制御を使用してもよい。
【選択図】図4
特許請求の範囲【請求項１】
ロボットを使用し、視覚的なポーズ推定を学習するシステムであって、
ワークに対して作業を行うように構成されたグリッパを備えるロボットと、
前記グリッパの近位で前記ロボットの外側アームに取付けられ、ワーク作業シーンの画像を提供するカメラと、
前記ロボットが有するワークを照明する１つ又は複数のライトと、
前記ロボット及び前記カメラと通信し、ニューラルネットワークを備えて構成されている少なくとも１つの計算装置であって、前記ニューラルネットワークは、複数のワーク位置及び複数の照明条件を含む複数の画像と、各画像の実際の相対ポーズとを使用した視覚的なポーズ推定のために訓練されており、前記ニューラルネットワークは、訓練後に、前記作業を行う前記ロボットの視覚サーボ制御で使用される視覚的なポーズ推定のための推測モードで実行される、計算装置と、
を備えるシステム。
続きを表示（約 1,100 文字）【請求項２】
各画像の前記ワーク作業シーンは、前記ロボットの前記グリッパ内の前記ワーク及び配置目標領域の少なくとも一部を含み、各画像の前記実際の相対ポーズは、前記ロボットの関節位置から定められる目標位置に対する前記ワークの相対位置を規定する、請求項１に記載のシステム。
【請求項３】
前記少なくとも１つの計算装置は、教師あり学習アルゴリズムを備えて構成され、前記教師あり学習アルゴリズムは、前記複数の画像の各々について、前記ニューラルネットワークからの前記画像の推測ポーズと前記画像の前記実際の相対ポーズとの差分を計算し、大きな差分にはペナルティを課して小さな差分には報酬を与えるコスト関数を適用することによって、視覚的なポーズ推定のために前記ニューラルネットワークを訓練する、請求項１に記載のシステム。
【請求項４】
前記複数の照明条件は、１つ又は複数のライトを個別に又はまとめてオン、オフ及び／又は調光することによって実現される、請求項１に記載のシステム。
【請求項５】
前記ニューラルネットワークは、画像特徴抽出のために予備構成された複数の層と、前記複数の層からの出力を受取って推測ポーズを出力する線形投影層とを含む構造を有する、請求項１に記載のシステム。
【請求項６】
前記ニューラルネットワークのパラメータ値は、前記推測ポーズの精度を向上させるために訓練中に修正され、前記構造は修正されない、請求項５に記載のシステム。
【請求項７】
前記ロボットの前記視覚サーボ制御において、前記ニューラルネットワークは、カメラ画像を受取り、推測された相対ポーズを計算し、位置計画モジュールが、前記推測された相対ポーズに基づいて前記ワークを目標位置に移動させるために必要なロボット関節動作を計算する、請求項１に記載のシステム。
【請求項８】
前記視覚サーボ制御は、前記作業を行う前記ロボットのコンプライアンス制御とともに使用される、請求項１に記載のシステム。
【請求項９】
前記視覚サーボ制御は前記ワークの予備位置決めを行うために使用され、前記コンプライアンス制御は次に前記ワークの最終位置決めを行うために使用され、又は、前記視覚サーボ制御は外部フィードバックループで作動し、前記コンプライアンス制御は前記ワークの位置決め時に内部フィードバックループで作動する、請求項８に記載のシステム。
【請求項１０】
前記カメラは、２次元（２Ｄ）カメラである、請求項１に記載のシステム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、広くは、ロボットスキルの学習のための方法に関し、特には、高精度位置決めタスクに適用可能なロボットの視覚ポーズ推定のための方法に関する。この方法では、異なる位置及び照明条件下でのロボットアーム搭載カメラからの画像を使用して、ニューラルネットワークを訓練し、目標ポーズに対するワークのポーズを推測し、次に、訓練されたニューラルネットワークを、タスクを実行するロボットの視覚サーボ制御のために使用する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
広範囲の製造・組立作業を繰り返し行うために産業用ロボットを使用することは周知である。しかし、ペグの穴内への配置や、ある部品の別部品への差し込み等、公差が厳しいタイプの組立作業は、ロボットが行うことはまだ難しい。これらのタイプの作業は、厳しい公差の組み立てタスクにおいて生じ得る複雑な位置合わせ不良をロボットが検出して修正することは困難であるため、多くの場合、手動で実行される。すなわち、把持及び固定の両方の不確実性に起因する、部分的に僅かな偏差のため、ロボットは、部品をその公称配置位置に単に移動させることができず、むしろ、一方の部品を他方の部品に適切に位置合わせして嵌合させるために「周囲を感じる（feel around）」必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
組立タスクをこれらの不可避の位置決めの不確実性に対して堅牢（ロバスト）なものにするために、ロボットシステムは、組立作業の完了に必要な動作指令を提供するために力及びトルクフィードバックを使用する力制御装置（別名コンプライアンス制御又はアドミタンス制御）を典型的に利用する。ロボット組立作業のための力制御装置をセットアップして調整する従来の方法は、手動調整によるものであり、人間の作業者は、組立作業のために実際のロボットシステムをプログラムし、プログラムを実行し、試行錯誤的に力制御パラメータを注意深く調整する。しかし、物理的試験を用いたこれらの力制御機能の調整及び設定は、手作業による試行錯誤を行う必要があるので、時間がかかり、高コストである。また、実際の物理試験システムでのパラメータ調整は、ロボットが適合しておらず、部品間の予期しない強制的な接触によってロボット、部品、又は周囲の固定具や構造物が損傷する可能性があるため、危険であり得る。
【０００４】
また、ロボットの動作を案内するために動作環境の視覚画像を使用する視覚サーボ制御システムも知られている。視覚サーボ制御を用いて、部品間の接触があるまでロボットを案内し、その時点で、力制御が引き継がれるようにしてもよい。しかし、いくつかのタイプのアセンブリ及び他の作業においては、視覚サーボシステムが、ポーズの検出及び補正のために使用され得る幾何学的特徴を識別することは困難である。従来の方法では、特徴認識のために視覚サーボシステムを手動で教示したり、ロボットの位置及び向きのよりロバストな認識を可能にする特別な視覚マーカを必要としたりすることが多い。
【０００５】
上述の状況に鑑みて、特に厳しい公差の用途において、ロボットの視覚ポーズ推定のための改善された方法が求められている。
【課題を解決するための手段】
【０００６】
以下の開示は、視覚的なポーズ推定を用いたロボットスキルの学習のための方法及びシステムを説明する。組立作業やワーク位置決め作業等の作業を行うロボットアームには、カメラが搭載されている。カメラは、様々な位置から様々な照明条件下で、作業シーンの訓練画像を提供する。各画像について、目標ポーズに対するツール中心点の相対ポーズが記録される。画像は、推測されたポーズと相対ポーズとの間の差分を最小化するようにニューラルネットワークを訓練するために、教師あり学習プロセスにおいて使用される。訓練されたニューラルネットワークは、ロボットの視覚サーボ制御に使用される相対的な目標位置を計算するために使用される。またロボットは、相手側部品と接触すると、最終的なワークの位置決めのための力制御装置を使用してもよい。
【０００７】
本開示の追加の特徴は、添付の図面と併せて、以下の説明及び特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【０００８】
厳しい公差の部品に対して実行されているロボット組立作業を例示し、ロボット組立作業のための課題をもたらす部品位置決めの不確かさの発生源を示す図である。
【０００９】
ロボットによって組み立てられている部品を例示し、該部品は、挿入軸に垂直な平面内での穴探索をロボットに実行させるやり方での位置合わせを要することを示す図である。
【００１０】
当技術分野で知られているように、コンプライアンス制御装置（すなわち、力又はアドミタンス制御）を使用するロボットアセンブリ作業のために構成されたシステムのブロック図である。
（【００１１】以降は省略されています）

関連特許