特許ウォッチ

公開番号2024100617
公報種別公開特許公報(A)
公開日2024-07-26
出願番号2023004736
出願日2023-01-16
発明の名称作業システム及び溶接システム
出願人国立大学法人東京大学,株式会社アマダ
代理人弁理士法人きさらぎ国際特許事務所
主分類G06V 10/70 20220101AFI20240719BHJP(計算;計数)
要約【課題】最低限の工数で安定的且つ高精度に溶接位置を検出することができ、且つその検出理由をオペレータが容易に把握可能にする。
【解決手段】溶接システムは、溶接ヘッドを有し動作プログラムに基づいてこれを溶接位置まで移動させこれを用いて被加工物に対する溶接加工を実行する溶接装置と、動作プログラムを実行して溶接装置を制御する制御部と、溶接位置及びその周囲を撮像して溶接位置画像を出力する撮像装置と、溶接位置画像と動作プログラムによって溶接ヘッドが移動すべき基準溶接位置における基準画像とを入力し溶接位置画像で示される溶接位置と基準溶接位置との間の補正量及び溶接位置の信頼度を算出し溶接位置の確認のための画像を出力する画像処理部と、出力される画像を表示する表示部と、出力される補正量及び信頼度に基づいて動作プログラムを補正するプログラム補正部とを備える。
【選択図】図2
特許請求の範囲【請求項１】
制御対象を含み、作業プログラムに基づいて、前記制御対象を所定の作業位置まで移動させ、前記制御対象を用いて所定の作業を実行する作業装置と、
前記作業プログラムを実行して前記作業装置を制御する制御部と、
前記作業位置及びその周囲を撮像して作業位置画像を出力する撮像装置と、
前記作業位置画像と、前記作業プログラムによって前記制御対象が移動すべき基準作業位置における基準画像と、を入力し、前記作業位置画像で示される前記作業位置と前記基準作業位置との間の距離に相当する前記作業位置の補正量、及び前記作業位置の信頼度を算出し、前記作業位置の確認のための画像を出力する画像処理部と、
前記画像処理部から出力される画像を表示する表示部と、
前記画像処理部から出力される前記補正量及び信頼度に基づいて前記作業プログラムを補正するプログラム補正部と、
を備え、
前記画像処理部は、
前記作業位置画像と前記基準画像との間の特徴量のマッチングによって、両画像の類似度の分布を示す第１ヒートマップ画像を生成する第１の画像処理部と、
前記作業位置画像と学習済モデルとに基づいて前記作業位置の尤度の分布を示す第２ヒートマップ画像を生成する第２の画像処理部と、
前記第１ヒートマップ画像と前記第２ヒートマップ画像とを合成して第３ヒートマップ画像を生成すると共に、前記作業位置の補正量及び信頼度を算出する第３の画像処理部と、を含み、
前記表示部は、前記第３ヒートマップ画像を表示する
作業システム。
続きを表示（約 1,800 文字）【請求項２】
溶接ヘッドを有し、動作プログラムに基づいて、前記溶接ヘッドを溶接位置まで移動させ、前記溶接ヘッドを用いて被加工物に対する溶接加工を実行する溶接装置と、
前記動作プログラムを実行して前記溶接装置を制御する制御部と、
前記溶接位置及びその周囲を撮像して溶接位置画像を出力する撮像装置と、
前記溶接位置画像と、前記動作プログラムによって前記溶接ヘッドが移動すべき基準溶接位置における基準画像と、を入力し、前記溶接位置画像で示される前記溶接位置と前記基準溶接位置との間の距離に相当する前記溶接位置の補正量、及び前記溶接位置の信頼度を算出し、前記溶接位置の確認のための画像を出力する画像処理部と、
前記画像処理部から出力される画像を表示する表示部と、
前記画像処理部から出力される前記補正量及び信頼度に基づいて前記動作プログラムを補正するプログラム補正部と、
を備え、
前記画像処理部は、
前記溶接位置画像と前記基準画像との間の特徴量のマッチングによって、両画像の類似度の分布を示す第１ヒートマップ画像を生成する第１の画像処理部と、
前記溶接位置画像と学習済モデルとに基づいて前記溶接位置の尤度の分布を示す第２ヒートマップ画像を生成する第２の画像処理部と、
前記第１ヒートマップ画像と前記第２ヒートマップ画像とを合成して第３ヒートマップ画像を生成すると共に、前記溶接位置の補正量及び信頼度を算出する第３の画像処理部と、を含み、
前記表示部は、前記第３ヒートマップ画像を表示する
溶接システム。
【請求項３】
前記溶接ヘッドの移動及び前記溶接ヘッドによる溶接加工を指示する前記動作プログラムを作成するプログラム作成装置を更に備え、
前記プログラム作成装置は、ＣＡＭのデータから前記被加工物及びその溶接位置を含む基準画像を生成する
請求項２記載の溶接システム。
【請求項４】
前記第３の画像処理部は、前記第１ヒートマップ画像及び前記第２ヒートマップ画像のそれぞれに重みを付けて両画像を合成し、前記第３ヒートマップ画像を生成する
請求項２記載の溶接システム。
【請求項５】
前記第１の画像処理部は、前記溶接位置画像から第１の学習済モデルを用いてエッジ情報を抽出し、前記基準画像から前記溶接位置を含むエッジ情報からなるテンプレート画像を作成し、前記作成されたテンプレート画像を用いて前記溶接位置画像に対してテンプレートマッチングを行って前記溶接位置画像と前記テンプレート画像との類似度を示す前記第１ヒートマップ画像を生成し、
前記第２の画像処理部は、前記溶接位置画像と第２の学習済モデルとに基づいて前記溶接位置の尤度を示す前記第２ヒートマップ画像を生成する
請求項２記載の溶接システム。
【請求項６】
前記第１の学習済モデルは、前記溶接位置画像を説明変数、前記溶接位置画像に対応するエッジ画像を目的変数とする機械学習によって生成され、
前記第２の学習済モデルは、前記溶接位置画像を説明変数、前記溶接位置画像に対応する溶接位置の尤度を示すヒートマップ画像を目的変数とする機械学習によって生成される
請求項５記載の溶接システム。
【請求項７】
前記基準画像には、前記溶接位置画像と同様のテクスチャに近づけるために、テクスチャ情報が付加され、又は前記基準画像のテクスチャ情報が変更され、
前記第２の学習済モデルは、前記溶接位置画像及び前記基準画像を説明変数とし、前記溶接位置画像及び前記基準画像に対応する溶接位置の尤度を示すヒートマップ画像を目的変数とする機械学習によって生成される
請求項６記載の溶接システム。
【請求項８】
前記表示部は、前記第３ヒートマップ画像と、前記第１ヒートマップ画像及び前記第２ヒートマップ画像の重みを調整する操作画像と、を表示し、
前記第３の画像処理部は、前記操作画像を介した操作入力情報に基づいて、前記第１ヒートマップ画像及び前記第２ヒートマップ画像の重みを変更し、前記第３ヒートマップ画像を生成する
請求項４記載の溶接システム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、作業システム及び溶接システムに関する。
続きを表示（約 3,100 文字）【背景技術】
【０００２】
溶接ロボットを備えた溶接システムにおいては、溶接ロボットにおける溶接位置の教示操作（ティーチング）が予め行われる。そして、このときの移動経路及び位置座標に基づき溶接ロボットの動作プログラムが作成され、この動作プログラムに従って溶接ロボットによる溶接が行われる。
【０００３】
また、同じ溶接が行われる被加工物に対しては、上記の教示操作で作成された動作プログラムに基づき、同じ溶接位置に対する連続した溶接が行われる。この際、被加工物の製造上のばらつき等の個体差により、溶接ロボットによる溶接位置と動作プログラム上の溶接位置とが必ずしも一致しない場合がある。このため、被加工物の溶接位置をカメラで撮像し、動作プログラム上の溶接位置との位置ずれを検出して、動作プログラムを自動補正した上で溶接を行うことが行われている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
特許第５５３７８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に開示された従来技術の溶接ロボットでは、撮像画像のばらつき、カメラ自体の性能差、被加工物の表面状態等の個体差、及び周辺環境等の環境要因、並びにオペレータによる教示操作等の人的要因によって、被加工物のロット毎に抽出されるエッジ情報が異なることがある。このため、溶接位置の検出精度に差が生じ、誤検出が発生してしまう場合がある。また、抽出されたエッジ情報によっては、パターンマッチングの結果のピークが複数現れ、又はピークが広がることにより、溶接位置を一意に決定することができないことがある。このような場合、オペレータは環境要因の調整のために各種操作及び設定をしたり、誤検出の原因追及のために詳細な調査をしたりすることが必要となってしまう。このため、溶接に関する工数を削減することができないという問題がある。
【０００６】
本発明の一態様は、最低限の工数で安定的且つ高精度に溶接位置を検出することができ、且つその検出理由をオペレータが容易に把握可能な作業システム及び溶接システムである。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る作業システムは、制御対象を含み、作業プログラムに基づいて、前記制御対象を所定の作業位置まで移動させ、前記制御対象を用いて所定の作業を実行する作業装置と、前記作業プログラムを実行して前記作業装置を制御する制御部と、前記作業位置及びその周辺を撮像して作業位置画像を出力する撮像装置と、前記作業位置画像と、前記作業プログラムによって前記制御対象が移動すべき基準作業位置における基準画像と、を入力し、前記作業位置画像で示される前記作業位置と前記基準作業位置との間の距離に相当する前記作業位置の補正量、及び前記作業位置の信頼度（補正された作業位置の信頼度）を算出し、前記作業位置の確認のための画像を出力する画像処理部と、前記画像処理部から出力される画像を表示する表示部と、前記画像処理部から出力される前記補正量及び信頼度に基づいて前記作業プログラムを補正するプログラム補正部と、を備え、前記画像処理部は、前記作業位置画像と前記基準画像との間の特徴量のマッチングによって、両画像の類似度の分布を示す第１ヒートマップ画像を生成する第１の画像処理部と、前記作業位置画像と学習済モデルとに基づいて前記作業位置の尤度の分布を示す第２ヒートマップ画像を生成する第２の画像処理部と、前記第１ヒートマップ画像と前記第２ヒートマップ画像とを合成して第３ヒートマップ画像を生成すると共に、前記作業位置の補正量および信頼度を算出する第３の画像処理部と、を含み、前記表示部は、前記第３ヒートマップ画像を表示する。
【０００８】
本発明の一態様に係る溶接システムは、溶接ヘッドを有し、動作プログラムに基づいて、前記溶接ヘッドを溶接位置まで移動させ、前記溶接ヘッドを用いて被加工物に対する溶接加工を実行する溶接装置と、前記動作プログラムを実行して前記溶接装置を制御する制御部と、前記溶接位置及びその周囲を撮像して溶接位置画像を出力する撮像装置と、前記溶接位置画像と、前記動作プログラムによって前記溶接ヘッドが移動すべき基準溶接位置における基準画像と、を入力し、前記溶接位置画像で示される前記溶接位置と前記基準溶接位置との間の距離に相当する前記溶接位置の補正量、及び前記溶接位置の信頼度を算出し、前記溶接位置の確認のための画像を出力する画像処理部と、前記画像処理部から出力される画像を表示する表示部と、前記画像処理部から出力される前記補正量及び信頼度に基づいて前記動作プログラムを補正するプログラム補正部と、を備え、前記画像処理部は、前記溶接位置画像と前記基準画像との間の特徴量のマッチングによって、両画像の類似度の分布を示す第１ヒートマップ画像を生成する第１の画像処理部と、前記溶接位置画像と学習済モデルとに基づいて前記溶接位置の尤度の分布を示す第２ヒートマップ画像を生成する第２の画像処理部と、前記第１ヒートマップ画像と前記第２ヒートマップ画像とを合成して第３ヒートマップ画像を生成すると共に、前記溶接位置の補正量及び信頼度を算出する第３の画像処理部と、を含み、前記表示部は、前記第３ヒートマップ画像を表示する。
【０００９】
本発明の一態様に係る作業システムによれば、画像処理部が、制御対象の作業位置及びその周囲を撮像した作業位置画像と、作業プログラムにより制御対象が移動すべき基準作業位置における基準画像と、を入力して、作業位置画像で示される作業位置と基準作業位置との間の距離に相当する作業位置の補正量、及び作業位置の信頼度を算出し、作業位置の確認のための画像を出力する。また、プログラム補正部が、画像処理部から出力される補正量及び信頼度に基づいて作業プログラムを補正する。このため、制御部が補正された作業プログラムを実行して制御対象を補正された作業位置へ自動的に移動させ所定の作業を実行するように作業装置を制御すると共に、表示部に表示される画像に基づき補正された作業位置を信頼度と共に確認することができるので、最低限の工数で安定的且つ高精度に作業位置を検出可能で、且つその検出理由をオペレータが容易に把握可能となる。
【００１０】
また、本発明の一態様に係る溶接システムによれば、画像処理部が、溶接装置の溶接ヘッドによる溶接位置及びその周囲を撮像した溶接位置画像と、動作プログラムにより溶接ヘッドが移動すべき基準溶接位置における基準画像と、を入力して、溶接位置画像で示される溶接位置と基準溶接位置との間の距離に相当する溶接位置の補正量、及び溶接位置の信頼度を算出し、溶接位置の確認のための画像を出力する。また、プログラム補正部が、画像処理部から出力される補正量及び信頼度に基づいて動作プログラムを補正する。このため、制御部が補正された動作プログラムを実行して溶接ヘッドを補正された溶接位置へ自動的に移動させるように溶接装置を制御すると共に、表示部に表示される画像に基づき補正された溶接位置を信頼度と共に確認することができるので、最低限の工数で安定的且つ高精度に溶接位置を検出可能で、且つその検出理由をオペレータが容易に把握可能となる。
【発明の効果】
（【００１１】以降は省略されています）

関連特許