特許ウォッチ

公開番号2025154259
公報種別公開特許公報(A)
公開日2025-10-10
出願番号2024057163
出願日2024-03-29
発明の名称画像処理装置、画像処理方法及びプログラム
出願人オムロン株式会社
代理人弁理士法人酒井国際特許事務所
主分類G06T 7/55 20170101AFI20251002BHJP(計算;計数)
要約【課題】3次元画像計測に用いる学習済みモデルの出力から信頼できる情報を特定すること。
【解決手段】画像処理装置は、第1視点画像及び第2視点画像を取得する画像取得部と、第1画像及び第2画像を入力し、第1画像中の点のそれぞれについて第1推定視差を第1画像中の第1位置座標と対応付けて出力する第1学習済みモデルを利用可能とされ、第1視点画像を第1画像とし、第2視点画像を第2画像として第1学習済みモデルに入力して第1位置座標と対応付けられた第1推定視差を取得する推論部と、各第1視点画像中の点について、第1位置座標及び第1推定視差から第2視点画像中の対応点の推定位置を求め、第1位置座標、第1推定視差、第2視点画像中の対応点の推定位置が対応付けられた対応付けデータを生成し、対応付けデータの集合から、第1推定視差の信頼度が高い、第1位置座標及び第1推定視差の組を特定する高信頼度領域特定手段と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
複数の画像間の視差に基づく３次元画像計測処理を行う画像処理装置であって、
第１視点及び第２視点のそれぞれで撮像された第１視点画像及び第２視点画像を取得する画像取得部と、
第１画像及び第２画像を入力し、前記第１画像中の点のそれぞれについて前記第２画像中の対応点との間の視差の機械学習による推論値である第１推定視差を前記第１画像中の点の位置を表す第１位置座標と対応付けて出力する第１学習済みモデルを利用可能とされ、前記第１視点画像を前記第１画像とし、前記第２視点画像を前記第２画像として前記第１学習済みモデルに入力して前記第１位置座標と対応付けられた前記第１推定視差を取得する推論部と、
各前記第１視点画像中の点について、前記第１位置座標及び前記第１推定視差から前記第２視点画像中の対応点の推定位置を求め、前記第１位置座標、前記第１推定視差、前記第２視点画像中の対応点の推定位置が対応付けられた対応付けデータを生成し、前記対応付けデータの集合から、前記第１推定視差の信頼度が高い、前記第１位置座標及び前記第１推定視差の組を特定する高信頼度領域特定手段と、を備える、
画像処理装置。
続きを表示（約 3,400 文字）【請求項２】
前記推論部は、さらに、前記第１画像及び前記第２画像を入力し、前記第２画像中の点のそれぞれについて前記第１画像中の対応点との間の視差の機械学習による推論値である第２推定視差を前記第２画像中の点の位置を表す第２位置座標と対応付けて出力する第２学習済みモデルを利用可能とされ、前記第１視点画像を前記第１画像とし、前記第２視点画像を前記第２画像として前記第２学習済みモデルに入力して前記第２位置座標と対応付けられた第２推定視差を取得し、
前記高信頼度領域特定手段は、前記対応付けデータにおいて前記第１位置座標に対応付けられている前記第２視点画像中の対応点の推定位置と同一の前記第２位置座標に対応付けられた前記第２推定視差を特定し、前記第１位置座標に対応付けられている前記第１推定視差の大きさと特定された前記第２推定視差の大きさとの差が所定のしきい値よりも小さい場合に、前記第１位置座標に対応付けられている前記第１推定視差の信頼度は高いとする、
請求項１に記載の画像処理装置。
【請求項３】
前記第１学習済みモデルは、前記第１推定視差を前記第１画像中の点の位置と対応付けて出力することに加えて、前記第２画像中の点のそれぞれについて前記第１画像中の対応点との間の視差の機械学習による推論値である第２推定視差を前記第２画像中の点の位置を表す第２位置座標と対応付けて出力し、
前記推論部は、前記第１視点画像を前記第１画像とし、前記第２視点画像を前記第２画像として前記第１学習済みモデルに入力して前記第１位置座標と対応付けられた前記第１推定視差、及び前記第２位置座標と対応付けられた前記第２推定視差を取得し、
前記高信頼度領域特定手段は、前記対応付けデータにおいて前記第１位置座標に対応付けられている前記第２視点画像中の対応点の推定位置と同一の前記第２位置座標に対応付けられた前記第２推定視差を特定し、前記第１位置座標に対応付けられている前記第１推定視差の大きさと特定された前記第２推定視差の大きさとの差が所定のしきい値よりも小さい場合に、前記第１位置座標に対応付けられている前記第１推定視差の信頼度は高いとする、
請求項１に記載の画像処理装置。
【請求項４】
前記推論部は、前記第２視点画像を視差方向に反転処理した第２反転画像を前記第１画像とし、前記第１視点画像を視差方向に反転処理した第１反転画像を前記第２画像として前記第１学習済みモデルに入力して前記第１位置座標と対応付けられた前記第１推定視差を取得し、前記第１位置座標を視差方向に反転処理して第２位置座標とするとともに前記第１推定視差の符号を反転処理して第２推定視差とし、
前記高信頼度領域特定手段は、前記対応付けデータにおいて前記第１位置座標に対応付けられている前記第２視点画像中の対応点の推定位置と同一の前記第２位置座標に対応付けられた前記第２推定視差を特定し、前記対応付けデータにおいて前記第１位置座標に対応付けられている前記第１推定視差の大きさと特定された前記第２推定視差の大きさとの差が所定のしきい値よりも小さい場合に、前記対応付けデータにおいて前記第１位置座標に対応付けられている前記第１推定視差の信頼度は高いとする、
請求項１に記載の画像処理装置。
【請求項５】
前記高信頼度領域特定手段は、着目する前記対応付けデータに含まれる前記第２視点画像中の対応点の推定位置と同一の前記第２視点画像中の対応点の推定位置を含む他の前記対応付けデータが所定数以上存在する場合は、同一の前記第２視点画像中の対応点の推定位置を含む所定数以上の前記対応付けデータに含まれる前記第１推定視差の少なくとも一部の信頼度は高くないとする、
請求項１に記載の画像処理装置。
【請求項６】
前記高信頼度領域特定手段は、着目する前記対応付けデータに含まれる前記第２視点画像中の対応点の推定位置と同一の前記第２視点画像中の対応点の推定位置を含む他の前記対応付けデータが複数存在する場合は、それらの前記対応付けデータに含まれる前記第１推定視差の中で絶対値が最も大きな前記第１推定視差のみを信頼度が高いとする、
請求項５に記載の画像処理装置。
【請求項７】
前記第１推定視差の信頼度が高い、前記第１位置座標及び前記第１推定視差の組として特定された各点の奥行きを表す深度情報を算出する深度算出部をさらに備える、
請求項１から４のいずれか１項に記載の画像処理装置。
【請求項８】
複数の画像間の視差に基づく３次元画像計測処理を行う画像処理装置であって、
第１視点及び第２視点のそれぞれで撮像された第１視点画像及び第２視点画像を取得する画像取得部と、
第１画像及び第２画像を入力し、前記第１画像中の点のそれぞれについて前記第２画像中の対応点との間の視差の機械学習による推論値である第１推定視差を前記第１画像中の点の位置を表す第１位置座標と対応付けて出力する第１学習済みモデルを利用可能とされ、前記第１視点画像を前記第１画像とし、前記第２視点画像を前記第２画像として前記第１学習済みモデルに入力して前記第１位置座標と対応付けられた前記第１推定視差を取得する推論部と、
各前記第１視点画像中の点について、前記第１位置座標及び前記第１推定視差から前記第２視点画像中の対応点の推定位置を求め、前記第１推定視差に対応する第１深度を求め、前記第１位置座標、前記第１深度、前記第２視点画像中の対応点の推定位置が対応付けられた対応付けデータを生成し、前記対応付けデータの集合から、前記第１深度の信頼度が高い、前記第１位置座標及び前記第１深度の組を特定する高信頼度領域特定手段と、を備える、
画像処理装置。
【請求項９】
複数の画像間の視差に基づく３次元画像計測処理を行う画像処理方法であって、
第１視点及び第２視点のそれぞれで撮像された第１視点画像及び第２視点画像を取得するステップと、
第１画像及び第２画像を入力し、前記第１画像中の点のそれぞれについて前記第２画像中の対応点との間の視差の機械学習による推論値である第１推定視差を前記第１画像中の点の位置を表す第１位置座標と対応付けて出力する学習済みモデルを利用可能とされ、前記第１視点画像を前記第１画像とし、前記第２視点画像を前記第２画像として前記学習済みモデルに入力して前記第１位置座標と対応付けられた前記第１推定視差を取得するステップと、
各前記第１視点画像中の点について、前記第１位置座標及び前記第１推定視差から前記第２視点画像中の対応点の推定位置を求め、前記第１位置座標、前記第１推定視差、前記第２視点画像中の対応点の推定位置が対応付けられた対応付けデータを生成し、前記対応付けデータの集合から、前記第１推定視差の信頼度が高い、前記第１位置座標及び前記第１推定視差の組を特定するステップと、を備える、
画像処理方法。
【請求項１０】
複数の画像間の視差に基づく３次元画像計測処理を行うプログラムであって、
第１視点及び第２視点のそれぞれで撮像された第１視点画像及び第２視点画像を取得する処理と、
第１画像及び第２画像を入力し、前記第１画像中の点のそれぞれについて前記第２画像中の対応点との間の視差の機械学習による推論値である第１推定視差を前記第１画像中の点の位置を表す第１位置座標と対応付けて出力する学習済みモデルを利用可能とされ、前記第１視点画像を前記第１画像とし、前記第２視点画像を前記第２画像として前記学習済みモデルに入力して前記第１位置座標と対応付けられた前記第１推定視差を取得する処理と、
各前記第１視点画像中の点について、前記第１位置座標及び前記第１推定視差から前記第２視点画像中の対応点の推定位置を求め、前記第１位置座標、前記第１推定視差、前記第２視点画像中の対応点の推定位置が対応付けられた対応付けデータを生成し、前記対応付けデータの集合から、前記第１推定視差の信頼度が高い、前記第１位置座標及び前記第１推定視差の組を特定する処理と、
をコンピュータに実行させる、プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
続きを表示（約 2,900 文字）【背景技術】
【０００２】
ステレオ画像などの視点が異なる複数の画像間の視差に基づいて画像中の奥行きなどの３次元情報を取得する３次元画像計測を行う技術が知られている。この種の技術では、一方の画像に写る点が他方の画像のどの点に写るかという対応点を推定し、画像間の視差を求める。また、例えば非特許文献１に示されるように、３次元画像計測処理に、機械学習技術を適用することが提案されている。
【先行技術文献】
【非特許文献】
【０００３】
L. Lipson, Z. Teed and J. Deng, "RAFT-Stereo: Multilevel Recurrent Field Transforms for Stereo Matching," 2021 International Conference on 3D Vision (3DV), London, United Kingdom, 2021, pp. 218-227, doi: 10.1109/3DV53792.2021.00032. [online]＜URL:https://arxiv.org/pdf/2109.07547.pd＞,[令和6年2月28日検索]
【発明の概要】
【発明が解決しようとする課題】
【０００４】
３次元画像計測において、１枚の画像だけに写る点は、他の画像における対応点を特定することができないため、正しい視差を算出することは原理的にできない。例えば、１枚の画像には映るが他の画像では別の物体に遮られて死角となる箇所は、対応点を決定できない。
【０００５】
しかし、機械学習された学習済みモデルを３次元画像計測に用いる場合、対応点が不確実な領域でも、学習した情報を利用して学習済みモデルが補完することで、視差を算出できる。そのため、学習済みモデルの出力には、対応点が確実な領域に基づく信頼度が高い情報と、対応点が不確実な領域から算出された信頼度が低い情報とが混在する可能性があるが、それらを区別することが困難であった。
【０００６】
本発明は、上記に鑑みてなされたものであり、３次元画像計測に用いる学習済みモデルの出力から信頼できる情報を特定することが可能な画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、複数の画像間の視差に基づく３次元画像計測処理を行う画像処理装置であって、第１視点及び第２視点のそれぞれで撮像された第１視点画像及び第２視点画像を取得する画像取得部と、第１画像及び第２画像を入力し、第１画像中の点のそれぞれについて第２画像中の対応点との間の視差の機械学習による推論値である第１推定視差を第１画像中の点の位置を表す第１位置座標と対応付けて出力する第１学習済みモデルを利用可能とされ、第１視点画像を第１画像とし、第２視点画像を第２画像として第１学習済みモデルに入力して第１位置座標と対応付けられた第１推定視差を取得する推論部と、各第１視点画像中の点について、第１位置座標及び第１推定視差から第２視点画像中の対応点の推定位置を求め、第１位置座標、第１推定視差、第２視点画像中の対応点の推定位置が対応付けられた対応付けデータを生成し、対応付けデータの集合から、第１推定視差の信頼度が高い、第１位置座標及び第１推定視差の組を特定する高信頼度領域特定手段と、を備える。
【０００８】
本発明に係る画像処理装置は、複数の画像間の視差に基づく３次元画像計測処理を行う画像処理装置であって、第１視点及び第２視点のそれぞれで撮像された第１視点画像及び第２視点画像を取得する画像取得部と、第１画像及び第２画像を入力し、第１画像中の点のそれぞれについて第２画像中の対応点との間の視差の機械学習による推論値である第１推定視差を第１画像中の点の位置を表す第１位置座標と対応付けて出力する第１学習済みモデルを利用可能とされ、第１視点画像を第１画像とし、第２視点画像を第２画像として第１学習済みモデルに入力して第１位置座標と対応付けられた第１推定視差を取得する推論部と、各第１視点画像中の点について、第１位置座標及び第１推定視差から第２視点画像中の対応点の推定位置を求め、第１推定視差に対応する第１深度を求め、第１位置座標、第１深度、第２視点画像中の対応点の推定位置が対応付けられた対応付けデータを生成し、対応付けデータの集合から、第１深度の信頼度が高い、第１位置座標及び第１深度の組を特定する高信頼度領域特定手段と、を備える。
【０００９】
本発明に係る画像処理方法は、複数の画像間の視差に基づく３次元画像計測処理を行う画像処理方法であって、第１視点及び第２視点のそれぞれで撮像された第１視点画像及び第２視点画像を取得するステップと、第１画像及び第２画像を入力し、第１画像中の点のそれぞれについて第２画像中の対応点との間の視差の機械学習による推論値である第１推定視差を第１画像中の点の位置を表す第１位置座標と対応付けて出力する学習済みモデルを利用可能とされ、第１視点画像を第１画像とし、第２視点画像を第２画像として学習済みモデルに入力して第１位置座標と対応付けられた第１推定視差を取得するステップと、各第１視点画像中の点について、第１位置座標及び第１推定視差から第２視点画像中の対応点の推定位置を求め、第１位置座標、第１推定視差、第２視点画像中の対応点の推定位置が対応付けられた対応付けデータを生成し、対応付けデータの集合から、第１推定視差の信頼度が高い、第１位置座標及び第１推定視差の組を特定するステップと、を備える。
【００１０】
本発明に係るプログラムは、複数の画像間の視差に基づく３次元画像計測処理を行うプログラムであって、第１視点及び第２視点のそれぞれで撮像された第１視点画像及び第２視点画像を取得する処理と、第１画像及び第２画像を入力し、第１画像中の点のそれぞれについて第２画像中の対応点との間の視差の機械学習による推論値である第１推定視差を第１画像中の点の位置を表す第１位置座標と対応付けて出力する学習済みモデルを利用可能とされ、第１視点画像を第１画像とし、第２視点画像を第２画像として学習済みモデルに入力して第１位置座標と対応付けられた第１推定視差を取得する処理と、各第１視点画像中の点について、第１位置座標及び第１推定視差から第２視点画像中の対応点の推定位置を求め、第１位置座標、第１推定視差、第２視点画像中の対応点の推定位置が対応付けられた対応付けデータを生成し、対応付けデータの集合から、第１推定視差の信頼度が高い、第１位置座標及び第１推定視差の組を特定する処理と、をコンピュータに実行させる。
【発明の効果】
（【００１１】以降は省略されています）

関連特許