特許ウォッチ

公開番号2024049235
公報種別公開特許公報(A)
公開日2024-04-09
出願番号2022155578
出願日2022-09-28
発明の名称画像処理装置、ステレオカメラ装置及び画像処理方法
出願人京セラ株式会社
代理人個人,個人,個人,個人
主分類G06T 7/593 20170101AFI20240402BHJP(計算;計数)
要約【課題】被写体までの距離をより精度良く測定することができる技術を提供する。
【解決手段】画像処理装置は、取得部と、制御部とを備える。制御部は、複数の平面射影変換によって基準画像の第1基準画素の座標を参照画像に含まれる複数の参照画素の座標に変換し、座標を変換した複数の参照画素のうちで第1基準画素と同じ被写体を含む参照画素を特定し、第1基準画素と特定した参照画素とを対応付ける対応付け処理を実行する。制御部は、複数の平面射影変換の逆変換によって第1基準画素に対応付けた参照画素の座標を基準画像に含まれる複数の基準画素の座標に変換し、座標を変換した複数の基準画素のうちで第1基準画素に対応付けた参照画素と同じ被写体を含む第2基準画素を特定し、第1基準画素と第2基準画素とに基づいて、第1基準画素と参照画素との対応付けが誤対応であるか否かを判定する判定処理を実行する。
【選択図】図1
特許請求の範囲【請求項１】
基準位置で撮像により生成された基準画像のデータと、前記基準画像とは異なる位置で撮像により生成された参照画像のデータとを取得する取得部と、
複数の平面射影変換によって前記基準画像の第１基準画素の座標を前記参照画像に含まれる複数の参照画素の座標に変換し、座標を変換した前記複数の参照画素のうちで前記第１基準画素と同じ被写体を含む参照画素を特定し、前記第１基準画素と特定した前記参照画素とを対応付ける対応付け処理を実行する制御部と、を備え、
前記制御部は、
前記複数の平面射影変換の逆変換によって前記第１基準画素に対応付けた前記参照画素の座標を前記基準画像に含まれる複数の基準画素の座標に変換し、座標を変換した前記複数の基準画素のうちで前記第１基準画素に対応付けた前記参照画素と同じ被写体を含む第２基準画素を特定し、前記第１基準画素と前記第２基準画素とに基づいて、前記第１基準画素と前記参照画素との対応付けが誤対応であるか否かを判定する判定処理を実行し、
前記複数の平面射影変換は、前記基準画像を生成したカメラへの光線であって、複数の仮想平面のそれぞれに位置する複数の仮想点を通る光線を、前記参照画像を生成したカメラへの光線であって、前記複数の仮想点を通る光線に変換する、
画像処理装置。
続きを表示（約 1,300 文字）【請求項２】
前記基準画像及び前記参照画像は、広角レンズによって撮像された画像である、請求項１に記載の画像処理装置。
【請求項３】
前記制御部は、前記判定処理において、
前記参照画像を生成したカメラへの光線であって、前記第１基準画素に対応付けられた前記参照画素を通る光線のデータを取得し、
取得した前記光線を前記複数の平面射影変換の逆変換によって前記基準画像を生成したカメラへの光線に変換し、変換した前記光線を前記基準画像に投影することにより、前記複数の基準画素の座標を取得する、請求項２に記載の画像処理装置。
【請求項４】
前記制御部は、前記判定処理において、前記第１基準画素と前記第２基準画素との間の距離が閾値以上であると判定した場合、前記第１基準画素と前記参照画素との対応付けが誤対応であると判定する、請求項１に記載の画像処理装置。
【請求項５】
前記仮想平面の法線方向は、前記基準画像を生成したカメラの光軸方向に基づいて設定され、
前記制御部は、前記第１基準画素に含まれる被写体までの距離を、前記基準位置から、前記第１基準画素に対応付けられた前記参照画素の座標の取得に用いられた前記仮想平面までの距離に基づいて取得する、請求項１に記載の画像処理装置。
【請求項６】
前記複数の仮想平面は、第１仮想平面及び第２仮想平面の両方を含み、
前記第１仮想平面の法線方向は、前記基準画像を生成したカメラの光軸方向である第１方向に一致し、
前記第１仮想平面は、前記第１方向に沿って前記基準位置から第１距離離れて位置し、
前記第２仮想平面の法線方向は、前記第１方向とは異なる第２方向に一致し、
前記第２仮想平面は、前記第２方向に沿って前記基準位置から第２距離離れて位置する、請求項１に記載の画像処理装置。
【請求項７】
前記制御部は、
前記対応付け処理において、前記第１基準画素の特徴量及び前記複数の参照画素の特徴量を抽出し、抽出した前記第１基準画素の特徴量と前記複数の参照画素のそれぞれの特徴量との間の類似度をそれぞれ示す複数のコスト値を算出し、前記複数のコスト値に基づいて、前記第１基準画素と同じ被写体を含む参照画素を特定し、
前記判定処理において、前記対応付け処理にて算出した前記複数のコスト値に基づいて、前記第１基準画素に対応付けた前記参照画素と同じ被写体を含む第２基準画素を特定する、請求項１に記載の画像処理装置。
【請求項８】
前記制御部は、前記被写体までの距離の情報に基づいた画素値を有する距離画素を含む距離画像を生成する、請求項５に記載の画像処理装置。
【請求項９】
前記制御部は、前記誤対応であると判定した前記第１基準画素に対応する前記距離画素を無効にする、請求項８に記載の画像処理装置。
【請求項１０】
前記制御部は、複数の前記距離画素のうち、無効にした前記距離画素の画素値を、他の前記距離画素の画素値によって補間する、請求項９に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、画像処理装置、ステレオカメラ装置及び画像処理方法に関する。
続きを表示（約 2,700 文字）【背景技術】
【０００２】
特許文献１には、第１の視野及び第１の光軸を有する第１のカメラと、第２の視野及び第２の光軸を有する第２のカメラとを備える撮像システムが開示されている。特許文献１には、第１の視野及び第２の視野が少なくとも部分的に重複し、組み合わされた視野を形成することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
特表２０２０－５２２９０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
被写体までの距離をより精度良く測定することが求められる。
【０００５】
かかる点に鑑みてなされた本開示の目的は、被写体までの距離をより精度良く測定することができる技術を提供することにある。
【課題を解決するための手段】
【０００６】
本開示の一実施形態に係る画像処理装置は、
基準位置で撮像により生成された基準画像のデータと、前記基準画像とは異なる位置で撮像により生成された参照画像のデータとを取得する取得部と、
複数の平面射影変換によって前記基準画像の第１基準画素の座標を前記参照画像に含まれる複数の参照画素の座標に変換し、座標を変換した前記複数の参照画素のうちで前記第１基準画素と同じ被写体を含む参照画素を特定し、前記第１基準画素と特定した前記参照画素とを対応付ける対応付け処理を実行する制御部と、を備え、
前記制御部は、
前記複数の平面射影変換の逆変換によって前記第１基準画素に対応付けた前記参照画素の座標を前記基準画像に含まれる複数の基準画素の座標に変換し、座標を変換した前記複数の基準画素のうちで前記第１基準画素に対応付けた前記参照画素と同じ被写体を含む第２基準画素を特定し、前記第１基準画素と前記第２基準画素とに基づいて、前記第１基準画素と前記参照画素との対応付けが誤対応であるか否かを判定する判定処理を実行し、
前記複数の平面射影変換は、前記基準画像を生成したカメラへの光線であって、複数の仮想平面のそれぞれに位置する複数の仮想点を通る光線を、前記参照画像を生成したカメラへの光線であって、前記複数の仮想点を通る光線に変換する。
【０００７】
本開示の一実施形態に係るステレオカメラ装置は、
基準位置で撮像により基準画像を生成する第１カメラと、前記基準画像とは異なる位置で撮像により参照画像を生成する第２カメラとを含むステレオカメラと、
複数の平面射影変換によって前記基準画像の第１基準画素の座標を前記参照画像に含まれる複数の参照画素の座標に変換し、座標を変換した前記複数の参照画素のうちで前記第１基準画素と同じ被写体を含む参照画素を特定し、前記第１基準画素と特定した前記参照画素とを対応付ける対応付け処理を実行する画像処理装置と、を備え、
前記画像処理装置は、
前記複数の平面射影変換の逆変換によって前記第１基準画素に対応付けた前記参照画素の座標を前記基準画像に含まれる複数の基準画素の座標に変換し、座標を変換した前記複数の基準画素のうちで前記第１基準画素に対応付けた前記参照画素と同じ被写体を含む第２基準画素を特定し、前記第１基準画素と前記第２基準画素とに基づいて、前記第１基準画素と前記参照画素との対応付けが誤対応であるか否かを判定する判定処理を実行し、
前記複数の平面射影変換は、複数の仮想平面のそれぞれに位置する複数の仮想点を通る前記第１カメラへの光線を前記複数の仮想点を通る前記第２カメラへの光線に変換する。
【０００８】
本開示の一実施形態に係る画像処理方法は、
基準位置で撮像により生成された基準画像のデータと、前記基準画像とは異なる位置で撮像により生成された参照画像のデータとを取得することと、
複数の平面射影変換によって前記基準画像の第１基準画素の座標を前記参照画像に含まれる複数の参照画素の座標に変換し、座標を変換した前記複数の参照画素のうちで前記第１基準画素と同じ被写体を含む参照画素を特定し、前記第１基準画素と特定した前記参照画素とを対応付ける対応付け処理を実行することと、
前記複数の平面射影変換の逆変換によって前記第１基準画素に対応付けた前記参照画素の座標を前記基準画像に含まれる複数の基準画素の座標に変換し、座標を変換した前記複数の基準画素のうちで前記第１基準画素に対応付けた前記参照画素と同じ被写体を含む第２基準画素を特定し、前記第１基準画素と前記第２基準画素とに基づいて、前記第１基準画素と前記参照画素との対応付けが誤対応であるか否かを判定する判定処理を実行することと、を含み、
前記複数の平面射影変換は、前記基準画像を生成したカメラへの光線であって、複数の仮想平面のそれぞれに位置する複数の仮想点を通る光線を、前記参照画像を生成したカメラへの光線であって、前記複数の仮想点を通る光線に変換する。
【発明の効果】
【０００９】
本開示の一実施形態によれば、被写体までの距離をより精度良く測定することができる技術を提供することができる。
【図面の簡単な説明】
【００１０】
本開示の一実施形態に係るステレオカメラ装置の概略構成を示すブロック図である。
図１に示すステレオカメラ装置が搭載される移動体を模式的に示す側面図である。
図１に示すステレオカメラ装置が搭載される移動体を模式的に示す正面図である。
第１仮想画像及び第１仮想平面を説明するための図である。
第１仮想画像における第１被写体の位置を説明するための図である。
第２仮想画像及び第２仮想平面を説明するための図である。
第２仮想画像における第２被写体の位置を説明するための図である。
距離画像の一例を示す図である。
対応付け処理の手順を示すフローチャートである。
対応付け処理の手順を示すフローチャートである。
誤対応の判定処理の手順を示すフローチャートである。
誤対応の判定処理の手順を示すフローチャートである。
魚眼レンズによって撮像された画像を説明するための図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許