特許ウォッチ

公開番号2024175636
公報種別公開特許公報(A)
公開日2024-12-18
出願番号2023184293
出願日2023-10-26
発明の名称画像処理方法、画像処理装置およびビジョンシステム
出願人住友重機械工業株式会社
代理人個人,個人
主分類G06T 7/70 20170101AFI20241211BHJP(計算;計数)
要約【課題】対象物が振動している場合やカメラが振動している場合であっても、対象物の代表座標を高い精度で取得提供する。
【解決手段】画像処理方法は、対象物の時系列的な複数の画像を取得するステップ(S10)と、複数の画像のそれぞれに関して、対象物の特徴を抽出した特徴抽出画像を生成するステップ(S12)と、複数の特徴抽出画像のそれぞれに関して、予め登録された対象物の画像と比較または予め学習されたモデルに基づいて判断することにより、特徴抽出画像に写っている対象物を特定するステップ(S14)と、複数の特徴抽出画像のそれぞれに関して、特定された対象物の一部の座標を取得するステップ(S16)と、取得した複数の一部の座標に基づいて、対象物の代表座標を推定するステップ(S18)と、を備える。
【選択図】図2
特許請求の範囲【請求項１】
対象物の時系列的な複数の画像を取得するステップと、
前記複数の画像のそれぞれに関して、前記対象物の特徴を抽出した特徴抽出画像を生成するステップと、
複数の前記特徴抽出画像のそれぞれに関して、予め登録された前記対象物の画像と比較または予め学習されたモデルに基づいて判断することにより、前記特徴抽出画像に写っている前記対象物を特定するステップと、
複数の前記特徴抽出画像のそれぞれに関して、特定された前記対象物の一部の座標を取得するステップと、
取得した複数の前記一部の座標に基づいて、前記対象物の代表座標を推定するステップと、
を備える画像処理方法。
続きを表示（約 1,200 文字）【請求項２】
前記推定するステップにおいて、前記一部の座標の時間変化に基づいて前記対象物の代表座標を推定する、請求項１に記載の画像処理方法。
【請求項３】
前記一部の座標の時間変化の極大値と極小値の差に所定の係数を乗じることにより、前記対象物の代表座標を推定する、請求項２に記載の画像処理方法。
【請求項４】
対象物の時系列的な複数の画像を取得する画像取得部と、
前記複数の画像のそれぞれに関して、前記対象物の特徴を抽出した特徴抽出画像を生成する特徴抽出部と、
複数の前記特徴抽出画像のそれぞれに関して、予め登録または学習された前記対象物の画像と比較または予め学習されたモデルに基づいて判断することにより、前記特徴抽出画像に写っている前記対象物を特定する対象物特定部と、
複数の前記特徴抽出画像のそれぞれに関して、特定された前記対象物の一部の座標を取得する一部座標取得部と、
取得した複数の前記一部の座標に基づいて、前記対象物の代表座標を推定する代表座標推定部と、
を備える画像処理装置。
【請求項５】
移動体に取り付けられるカメラと、
請求項４に記載の画像処理装置と、
を備え、
前記画像処理装置の前記画像取得部は前記カメラから前記対象物の画像を取得する、ビジョンシステム。
【請求項６】
移動する対象物の時系列的な複数の画像を取得するステップと、
前記複数の画像のそれぞれに関して、前記対象物の代表座標を取得するステップと、
取得した前記代表座標から、前記対象物の静止位置を予測するステップと、
予測された前記静止位置を含むように、前記画像を取得するステップにおける撮像範囲よりも小さい画像解析範囲を設定するステップと、
前記画像解析範囲内で所定の画像解析処理を行うステップと、
を備える画像処理方法。
【請求項７】
前記予測するステップにおいて、少なくとも３点以上の前記代表座標から、前記対象物の静止位置を予測する、請求項６に記載の画像処理方法。
【請求項８】
移動する対象物の時系列的な複数の画像を取得する画像取得部と、
前記複数の画像のそれぞれに関して、前記対象物の代表座標を取得する代表座標取得部と、
取得した前記代表座標から、前記対象物の静止位置を予測する静止位置予測部と、
予測された前記静止位置を含むように、前記画像取得部における撮像範囲よりも小さい画像解析範囲を設定する画像解析範囲設定部と、
前記画像解析範囲内で所定の画像解析処理を行う画像解析部と、
を備える画像処理装置。
【請求項９】
所定の撮像範囲を撮像するカメラと、
請求項８に記載の画像処理装置と、
を備え、
前記画像処理装置の前記画像取得部は、前記カメラから前記対象物の画像を取得する、ビジョンシステム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、対象物の代表座標を取得する画像処理方法および画像処理装置、並びに該画像処理装置を用いたビジョンシステムに関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
従来、振動による画像流れ等の劣化をある程度復元する、所謂「手振れ補正」技術はさまざまに考案されている。例えば、カメラが振動変位を受けていても、カメラの像の流れを検出して画像復元する電子手振れ制御や、カメラに可動式素子（例えばプリズムや液晶光学素子）を設け、ジャイロ等から得られた加減速情報に基づいて該可動式素子を微動させて撮像する光学手振れ制御等で、手振れ補正する技術は様々に考案されている。また、センサからの加速度情報や位置情報が得られなくとも、画像の過渡現象を分析する事で推定できる、所謂ソフトジャイロ機能も考案されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０１６－１１９５７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ロボットピックや嵌合作業等の高い座標精度を要するケースでは、手振れ補正した復元座標では、座標情報が曖昧で振動変位そのもの影響を抑制する事はできない。手振れ補正の技術は、修復した画像に違和感なく見せる技術であり、絶対座標を必要としない。つまり、歪んだ画像空間における瞬時の修復画像では座標精度が期待できない。
【０００５】
本発明はこうした状況に鑑みてなされたものであり、その目的は、対象物が振動している場合やカメラが振動している状態であっても、対象物の代表座標を高い精度で取得できる技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様は、予めパターンマッチング等により画像登録される、または所謂ＡＩ手法（機械学習、深層学習等）によって学習した対象物の代表座標を取得する画像処理方法であって、対象物の時系列的な複数の画像を取得するステップと、複数の画像のそれぞれに関して、座標取得できるよう、対象物の特徴を抽出した特徴抽出画像を生成するステップと、複数の特徴抽出画像のそれぞれに関して、特徴抽出画像に写っている対象物を、予め登録された対象物の画像と比較、または予め学習した画像から学習アルゴリズムによる判断の下、同定することにより特定するステップと、複数の特徴抽出画像のそれぞれに関して、特定された対象物の一部の座標を取得するステップと、取得した複数の一部の座標に基づいて統計処理等を行うことで、対象物の代表座標を推定するステップと、を備える。
【０００７】
本発明の別の態様は、画像処理装置である。この装置は、予めパターンマッチング等により画像登録される、または所謂ＡＩ手法（機械学習、深層学習等）によって学習した対象物の代表座標を取得する画像処理装置であって、対象物の時系列的な複数の画像を取得する画像取得部と、複数の画像のそれぞれに関して、座標取得できるよう、対象物の特徴を抽出した特徴抽出画像を生成する特徴抽出部と、複数の特徴抽出画像のそれぞれに関して、特徴抽出画像に写っている対象物を、予め登録された対象物の画像と比較、または予め学習した画像から学習アルゴリズムによる判断の下、同定することにより特定する対象物特定部と、複数の特徴抽出画像のそれぞれに関して、特定された対象物の一部の座標を取得する一部座標取得部と、取得した複数の一部の座標に基づいて統計処理等を行うことで対象物の代表座標を推定する代表座標推定部と、を備える。
【０００８】
本発明のさらに別の態様は、ビジョンシステムである。このビジョンシステムは、移動体に取り付けられるカメラと、上記の画像処理装置と、を備える。画像処理装置の画像取得部は、カメラから対象物の画像を取得する。移動体は、例えばロボットアーム、自律走行搬送ロボット、無人搬送車、所謂ドローンと呼ばれる飛行体などであってよい。
【０００９】
なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によれば、対象物が振動している場合や撮像部が振動している場合であっても、対象物の代表座標を高い精度で取得できる技術を提供できる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許