特許ウォッチ

公開番号2025034832
公報種別公開特許公報(A)
公開日2025-03-13
出願番号2023141480
出願日2023-08-31
発明の名称画像処理装置、画像処理方法およびプログラム
出願人オムロン株式会社
代理人弁理士法人深見特許事務所
主分類G06T 7/70 20170101AFI20250306BHJP(計算;計数)
要約【課題】物体の姿勢の認識に適した撮像位置候補を決定できる画像処理装置を提供する。
【解決手段】画像処理装置は、物体認識処理の結果に基づいて、特定条件を満たす1以上の仮想視点を三次元カメラの次の1以上の撮像位置候補として決定する。特定条件は、仮想視点から見たときの1以上の特定物体の姿勢の第1認識容易性が、入力画像における1以上の特定物体の姿勢の第2認識容易性よりも高いという条件である。第1認識容易性は、仮想視点から見たときの1以上の特定物体の各々の推定される姿勢に対応する第1モデル画像の認識容易性スコアに基づいて評価される。第2認識容易性は、1以上の特定物体の各々の認識された姿勢に対応する第2モデル画像の認識容易性スコアに基づいて評価される。
【選択図】図1
特許請求の範囲【請求項１】
ロボットアームに取り付けられた三次元カメラの撮影に基づいて得られる入力画像に対して画像処理を行なう画像処理装置であって、
物体のモデルを用いて、前記モデルの姿勢が互いに異なる複数のモデル画像を生成する生成部と、
前記複数のモデル画像を用いたテンプレートマッチングによって、前記入力画像から前記物体の位置姿勢を認識する物体認識処理を繰り返し実行する物体認識部と、
前記複数のモデル画像の各々に、前記物体の姿勢の認識容易性を表す第１スコアを付与する付与部と、
前記物体認識処理の結果に基づいて、特定条件を満たす１以上の仮想視点を前記三次元カメラの次の１以上の撮像位置候補として決定する決定部とを備え、
前記物体認識処理の結果は、前記入力画像に含まれる１以上の特定物体について認識された姿勢を示し、
前記特定条件は、前記仮想視点から見たときの前記１以上の特定物体の姿勢の第１認識容易性が、前記入力画像における前記１以上の特定物体の姿勢の第２認識容易性よりも高いという条件であり、
前記第１認識容易性は、前記複数のモデル画像のうち前記仮想視点から見たときの前記１以上の特定物体の各々の推定される姿勢に対応する第１モデル画像の前記第１スコアに基づいて評価され、
前記推定される姿勢は、前記認識された姿勢と、前記仮想視点と、前記三次元カメラの最新の撮像位置とに基づいて推定され、
前記第２認識容易性は、前記複数のモデル画像のうち前記１以上の特定物体の各々の前記認識された姿勢に対応する第２モデル画像の前記第１スコアに基づいて評価される、画像処理装置。
続きを表示（約 2,700 文字）【請求項２】
前記物体認識処理の結果に基づいて、前記ロボットアームによるピッキング対象となる対象物体を選択する選択部をさらに備え、
前記物体認識処理は、前記複数のモデル画像の各々と前記入力画像との一致度合いを表す第２スコアを算出することを含み、
前記１以上の特定物体は、前記対象物体以外の物体のうち、最も高い前記第２スコアに対応する位置姿勢を有する第１特定物体を含み、
前記決定部は、
前記複数のモデル画像の中から、前記第１特定物体の前記認識された姿勢に対応する前記第２モデル画像よりも前記第１スコアの高い１以上のモデル画像の各々を前記第１モデル画像として抽出し、
前記１以上の撮像位置候補の各々から見たときの前記第１特定物体の前記推定される姿勢が前記第１モデル画像の前記モデルの姿勢と一致するように、前記１以上の撮像位置候補を決定する、請求項１に記載の画像処理装置。
【請求項３】
不適切位置を登録する登録部をさらに備え、
前記決定部は、前記不適切位置以外の位置を前記１以上の撮像位置候補として決定し、
前記１以上の特定物体は、前回の物体認識処理において前記位置姿勢が認識された第２特定物体を含み、
前記登録部は、前記前回の物体認識処理の結果から推定される、前記最新の撮像位置から見たときの前記第２特定物体の姿勢に対応する前記第１モデル画像と、最新の物体認識処理において認識された前記第２特定物体の姿勢に対応する前記第２モデル画像とが一致しないことに応じて、前回の撮像位置と前記最新の撮像位置とを前記不適切位置として決定する、請求項１に記載の画像処理装置。
【請求項４】
ユーザインターフェースへの入力に応じて、前記三次元カメラの可動範囲を設定する範囲設定部をさらに備え、
前記決定部は、前記可動範囲の中から前記１以上の撮像位置候補を決定する、請求項１に記載の画像処理装置。
【請求項５】
少なくとも前記第１認識容易性を含む１以上の指標に基づいて、前記１以上の撮像位置候補の各々に対して優先度を設定する優先度設定部と、
前記１以上の撮像位置候補から選択される撮像位置候補に前記三次元カメラを移動可能か否かの問い合わせを、前記ロボットアームを制御するロボットコントローラに出力する出力部とをさらに備え、
前記出力部は、前記１以上の撮像位置候補の中から、優先度の高い順に前記問い合わせの対象となる撮像位置候補を選択する、請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記１以上の指標は、前記１以上の撮像位置候補のうちの対象の撮像位置候補に前記三次元カメラを移動させるための前記ロボットアームの移動量を含む、請求項５に記載の画像処理装置。
【請求項７】
ロボットアームに取り付けられた三次元カメラの撮影に基づいて得られる入力画像に対する画像処理方法であって、
１以上のプロセッサが、物体のモデルを用いて、前記モデルの姿勢が互いに異なる複数のモデル画像を生成することと、
前記１以上のプロセッサが、前記複数のモデル画像を用いたテンプレートマッチングによって、前記入力画像から前記物体の位置姿勢を認識する物体認識処理を繰り返し実行することと、
前記１以上のプロセッサが、前記複数のモデル画像の各々に、前記物体の認識容易性を表す第１スコアを付与することと、
前記１以上のプロセッサが、前記物体認識処理の結果に基づいて、特定条件を満たす１以上の仮想視点を前記三次元カメラの次の１以上の撮像位置候補として決定することとを備え、
前記物体認識処理の結果は、前記入力画像に含まれる１以上の特定物体について認識された姿勢を示し、
前記特定条件は、前記仮想視点から見たときの前記１以上の特定物体の第１認識容易性が、前記入力画像における前記１以上の特定物体の第２認識容易性よりも高いという条件であり、
前記決定することは、
前記１以上のプロセッサが、前記複数のモデル画像のうち前記仮想視点から見たときの前記１以上の特定物体の各々の推定される姿勢に対応する第１モデル画像の前記第１スコアに基づいて、前記第１認識容易性を評価することと、
前記１以上のプロセッサが、前記認識された姿勢と、前記仮想視点と、前記三次元カメラの最新の撮像位置とに基づいて前記推定される姿勢を推定することと、
前記１以上のプロセッサが、前記複数のモデル画像のうち前記１以上の特定物体の各々の前記認識された姿勢に対応する第２モデル画像の前記第１スコアに基づいて前記第２認識容易性を評価することとを含む、画像処理方法。
【請求項８】
ロボットアームに取り付けられた三次元カメラの撮影に基づいて得られる入力画像に対する画像処理方法をコンピュータに実行させるプログラムであって、
前記画像処理方法は、
物体のモデルを用いて、前記モデルの姿勢が互いに異なる複数のモデル画像を生成することと、
前記複数のモデル画像を用いたテンプレートマッチングによって、前記入力画像から前記物体の位置姿勢を認識する物体認識処理を繰り返し実行することと、
前記複数のモデル画像の各々に、前記物体の認識容易性を表す第１スコアを付与することと、
前記物体認識処理の結果に基づいて、特定条件を満たす１以上の仮想視点を前記三次元カメラの次の１以上の撮像位置候補として決定することとを備え、
前記物体認識処理の結果は、前記入力画像に含まれる１以上の特定物体について認識された姿勢を示し、
前記特定条件は、前記仮想視点から見たときの前記１以上の特定物体の第１認識容易性が、前記入力画像における前記１以上の特定物体の第２認識容易性よりも高いという条件であり、
前記決定することは、
前記複数のモデル画像のうち前記仮想視点から見たときの前記１以上の特定物体の各々の推定される姿勢に対応する第１モデル画像の前記第１スコアに基づいて、前記第１認識容易性を評価することと、
前記認識された姿勢と、前記仮想視点と、前記三次元カメラの最新の撮像位置とに基づいて前記推定される姿勢を推定することと、
前記複数のモデル画像のうち前記１以上の特定物体の各々の前記認識された姿勢に対応する第２モデル画像の前記第１スコアに基づいて前記第２認識容易性を評価することとを含む、プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法およびプログラムに関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
従来、三次元カメラから得られる画像に基づいて複数の物体（例えば、ワーク）の三次元形状を計測し、計測結果に基づいてロボットによるピッキング動作の対象となるワークの位置姿勢を認識する画像処理装置が知られている。
【０００３】
ワークの見え方によってワーク位置姿勢を認識できないケースがあり得る。そのため、三次元カメラの撮像位置を変えながらワークを撮像する方法が提案されている。三次元カメラの撮像位置は、タクトの遅延またはワークの取り残しが抑制されるように、現在のワークの状態に応じて適切に決定されることが望ましい。
【０００４】
例えば、特開２０１９－２０７１４０号公報（特許文献１）は、計測された三次元形状から高さ情報が欠損している欠損領域を抽出し、欠損領域の周囲の高さ情報に基づいて、欠損領域の高さ情報を取得しやすいように三次元カメラの撮像位置を決定する技術を開示している。
【先行技術文献】
【特許文献】
【０００５】
特開２０１９－２０７１４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示の技術によれば、欠損領域の高さ情報を取得しやすいように、次の撮像位置が決定される。しかしながら、欠損領域の高さ情報を取得しやすい撮像位置は、必ずしもワークの姿勢を認識しやすい位置とは限らない。
【０００７】
本開示は、このような実情を鑑みてなされたものであり、その目的は、物体の姿勢の認識に適した撮像位置候補を決定することが可能な画像処理装置、画像処理方法およびプログラムを提供することである。
【課題を解決するための手段】
【０００８】
本開示の一例によれば、画像処理装置は、ロボットアームに取り付けられた三次元カメラの撮影に基づいて得られる入力画像に対して画像処理を行なう。画像処理装置は、生成部と、物体認識部と、付与部と、決定部とを備える。生成部は、物体のモデルを用いて、モデルの姿勢が互いに異なる複数のモデル画像を生成する。物体認識部は、複数のモデル画像を用いたテンプレートマッチングによって、入力画像から物体の位置姿勢を認識する物体認識処理を繰り返し実行する。付与部は、複数のモデル画像の各々に、物体の姿勢の認識容易性を表す第１スコアを付与する。決定部は、物体認識処理の結果に基づいて、特定条件を満たす１以上の仮想視点を三次元カメラの次の１以上の撮像位置候補として決定する。物体認識処理の結果は、入力画像に含まれる１以上の特定物体について認識された姿勢を示す。特定条件は、仮想視点から見たときの１以上の特定物体の姿勢の第１認識容易性が、入力画像における１以上の特定物体の姿勢の第２認識容易性よりも高いという条件である。第１認識容易性は、複数のモデル画像のうち仮想視点から見たときの１以上の特定物体の各々の推定される姿勢に対応する第１モデル画像の第１スコアに基づいて評価される。推定される姿勢は、認識された姿勢と、仮想視点と、三次元カメラの最新の撮像位置とに基づいて推定される。第２認識容易性は、複数のモデル画像のうち１以上の特定物体の各々の認識された姿勢に対応する第２モデル画像の第１スコアに基づいて評価される。
【０００９】
この開示によれば、テンプレートマッチングを用いた１以上の特定物体の姿勢の認識容易性が向上する仮想視点が撮像位置候補として決定される。これにより、画像処理装置１００は、１以上の特定物体の姿勢の認識に適した撮像位置候補を決定できる。
【００１０】
上述の開示において、画像処理装置は、物体認識処理の結果に基づいて、ロボットアームによるピッキング対象となる対象物体を選択する選択部をさらに備える。物体認識処理は、複数のモデル画像の各々と入力画像との一致度合いを表す第２スコアを算出することを含む。１以上の特定物体は、対象物体以外の物体のうち、最も高い第２スコアに対応する位置姿勢を有する第１特定物体を含む。決定部は、複数のモデル画像の中から、第１特定物体の認識された姿勢に対応する第２モデル画像よりも第１スコアの高い１以上のモデル画像の各々を第１モデル画像として抽出する。決定部は、１以上の撮像位置候補の各々から見たときの第１特定物体の推定される姿勢が第１モデル画像のモデルの姿勢と一致するように、１以上の撮像位置候補を決定する。
（【００１１】以降は省略されています）

関連特許