特許ウォッチ

公開番号2025034831
公報種別公開特許公報(A)
公開日2025-03-13
出願番号2023141479
出願日2023-08-31
発明の名称画像処理装置、画像処理方法およびプログラム
出願人オムロン株式会社
代理人弁理士法人深見特許事務所
主分類G06T 7/70 20170101AFI20250306BHJP(計算;計数)
要約【課題】オクルージョンが発生している領域の三次元形状を計測することに適した撮像位置候補を決定できる画像処理装置を提供する。
【解決手段】画像処理装置は、視点変換部と、計算部と、決定部とを備える。視点変換部は、ロボットアームに取り付けられた三次元カメラの撮影画像から得られる実デプスマップを、複数の仮想視点から見た複数の仮想デプスマップに変換する。計算部は、複数の仮想デプスマップの各々について、距離情報が欠損している欠損領域の面積を計算する。決定部は、欠損領域の面積が相対的に大きい1以上の仮想デプスマップに対応する1以上の仮想視点を三次元カメラの次の1以上の撮像位置候補として決定する。
【選択図】図1
特許請求の範囲【請求項１】
画像処理装置であって、
ロボットアームに取り付けられた三次元カメラの撮影画像から得られる実デプスマップを、複数の仮想視点から見た複数の仮想デプスマップに変換する視点変換部と、
前記複数の仮想デプスマップの各々について、距離情報が欠損している欠損領域の面積を計算する計算部と、
前記複数の仮想デプスマップのうち前記面積が相対的に大きい１以上の仮想デプスマップに対応する１以上の仮想視点を前記三次元カメラの次の１以上の撮像位置候補として決定する決定部とを備える、画像処理装置。
続きを表示（約 1,200 文字）【請求項２】
ユーザインターフェースへの入力に応じて、前記三次元カメラの可動範囲を設定する範囲設定部をさらに備え、
前記視点変換部は、前記可動範囲内に前記複数の仮想視点を配置する、請求項１に記載の画像処理装置。
【請求項３】
前記欠損領域は、前記複数の仮想デプスマップの各々のうち、前記実デプスマップの画枠に対応する仮想枠線外の領域を含まない、請求項１に記載の画像処理装置。
【請求項４】
前記計算部は、前記距離情報が欠損している画素が予め定められた個数以上連結している領域を前記欠損領域として決定する、請求項１に記載の画像処理装置。
【請求項５】
少なくとも前記面積を含む１以上の指標に基づいて、前記１以上の撮像位置候補の各々に対して優先度を設定する優先度設定部と、
前記１以上の撮像位置候補から選択される撮像位置候補に前記三次元カメラを移動可能か否かの問い合わせを、前記ロボットアームを制御するロボットコントローラに出力する出力部とをさらに備え、
前記出力部は、前記１以上の撮像位置候補の中から、優先度の高い順に前記問い合わせの対象となる撮像位置候補を選択する、請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記１以上の指標は、前記１以上の撮像位置候補のうちの対象の撮像位置候補に前記三次元カメラを移動させるための前記ロボットアームの移動量を含む、請求項５に記載の画像処理装置。
【請求項７】
画像処理方法であって、
１以上のプロセッサが、ロボットアームに取り付けられた三次元カメラの撮影画像から得られる実デプスマップを、複数の仮想視点から見た複数の仮想デプスマップに変換することと、
前記１以上のプロセッサが、前記複数の仮想デプスマップの各々について、距離情報が欠損している欠損領域の面積を計算することと、
前記１以上のプロセッサが、前記複数の仮想デプスマップのうち前記面積が相対的に大きい１以上の仮想デプスマップに対応する１以上の仮想視点を前記三次元カメラの次の１以上の撮像位置候補として決定することとを備える、画像処理方法。
【請求項８】
画像処理方法をコンピュータに実行させるプログラムであって、
前記画像処理方法は、
ロボットアームに取り付けられた三次元カメラの撮影画像から得られる実デプスマップを、複数の仮想視点から見た複数の仮想デプスマップに変換することと、
前記複数の仮想デプスマップの各々について、距離情報が欠損している欠損領域の面積を計算することと、
前記複数の仮想デプスマップのうち前記面積が相対的に大きい１以上の仮想デプスマップに対応する１以上の仮想視点を前記三次元カメラの次の１以上の撮像位置候補として決定することとを備える、プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法およびプログラムに関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
従来、三次元カメラから得られる画像に基づいて複数のワークの三次元形状を計測し、計測結果に基づいてロボットによるワークのピッキング動作を制御する画像処理装置が知られている。
【０００３】
ある視点から見たときに、あるワークの一部が他の物体に隠れてしまうオクルージョンが発生し得る。そのため、オクルージョンの発生した箇所を計測できるように、三次元カメラの撮像位置を移動させる方法が提案されている。三次元カメラの撮像位置は、タクトの遅延またはワークの取り残しが抑制されるように、現在のワークの状態に応じて適切に決定されることが望ましい。
【０００４】
例えば、特開２０１９－２０７１４０号公報（特許文献１）は、計測された三次元形状から高さ情報が欠損している欠損領域を抽出し、欠損領域の周囲の高さ情報に基づいて、欠損領域の高さ情報を取得しやすいように三次元カメラの撮像位置を決定する技術を開示している。
【先行技術文献】
【特許文献】
【０００５】
特開２０１９－２０７１４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示の技術は、計測された三次元形状に複数の欠損領域が存在する場合、最も高い位置の欠損領域のみに着目し、着目した欠陥領域の高さ情報を取得しやすいように撮像位置を決定する。そのため、着目した欠陥領域以外にオクルージョンが発生している領域について、次の撮像位置に対応する画像から三次元形状を計測できない可能性がある。
【０００７】
本開示は、このような実情を鑑みてなされたものであり、その目的は、オクルージョンが発生している領域の三次元形状を計測することに適した撮像位置候補を決定することが可能な画像処理装置、画像処理方法およびプログラムを提供することである。
【課題を解決するための手段】
【０００８】
本開示の一例によれば、画像処理装置は、視点変換部と、計算部と、決定部とを備える。視点変換部は、ロボットアームに取り付けられた三次元カメラの撮影画像から得られる実デプスマップを、複数の仮想視点から見た複数の仮想デプスマップに変換する。計算部は、複数の仮想デプスマップの各々について、距離情報が欠損している欠損領域の面積を計算する。決定部は、複数の仮想デプスマップのうち面積が相対的に大きい１以上の仮想デプスマップに対応する１以上の仮想視点を三次元カメラの次の１以上の撮像位置候補として決定する。
【０００９】
この開示によれば、１以上の撮像位置候補は、各仮想デプスマップにおける欠損領域の面積を考慮して、複数の仮想視点の中から決定される。仮想デプスマップの欠損領域は、実デプスマップの生成に使用された撮影画像に対応する撮像位置から見たときにオクルージョンが発生している領域に対応する。これにより、画像処理装置は、オクルージョンが発生している領域の三次元形状を計測することに適した撮像位置候補を決定できる。
【００１０】
上述の開示において、画像処理装置は、ユーザインターフェースへの入力に応じて、三次元カメラの可動範囲を設定する範囲設定部をさらに備える。視点変換部は、可動範囲内に複数の仮想視点を配置する。
（【００１１】以降は省略されています）

関連特許