特許ウォッチ

公開番号2025083945
公報種別公開特許公報(A)
公開日2025-06-02
出願番号2023197643
出願日2023-11-21
発明の名称撮像システム
出願人株式会社日立製作所
代理人弁理士法人平木国際特許事務所
主分類H04N 23/60 20230101AFI20250526BHJP(電気通信技術)
要約【課題】ノンパラメトリックな歪み成分も補正できる高精度なキャリブレーションを適用可能な撮像システムを実現する。
【解決手段】本発明に係る撮像システムは、画像に対して差分歪みを適用するステップ、前記差分歪みを適用した前記画像から前記パラメトリック歪みを計算するステップ、前記画像が有する歪みと前記計算した前記パラメトリック歪みとの間の差分またはその差分から導出される値を前記差分歪みの更新後の値として計算するステップ、を1回以上実施する。
【選択図】図5
特許請求の範囲【請求項１】
被写体を撮影する撮像システムであって、
カメラが撮影した画像から、前記カメラの内部パラメータによって表されるパラメトリック光学モデルに基づくパラメトリック歪みと、ノンパラメトリック歪み成分を表す差分歪みとを計算する、歪み情報処理部、
前記画像に対して前記パラメトリック歪みと前記差分歪みそれぞれの歪み補正を適用する歪み補正部、
を備え、
前記歪み情報処理部は、前記画像に対して前記差分歪みを適用するステップを実施し、
前記歪み情報処理部は、前記差分歪みを適用した前記画像から前記パラメトリック歪みを計算するステップを実施し、
前記歪み情報処理部は、前記画像が有する歪みと前記計算した前記パラメトリック歪みとの間の差分またはその差分から導出される値を、前記差分歪みの更新後の値として計算するステップを実施し、
前記歪み情報処理部は、前記差分歪みの前記更新後の値が閾値以下になるまで、前記差分歪みを適用するステップ、前記パラメトリック歪みを計算するステップ、および、前記差分歪みの更新後の値を計算するステップを１回以上実施する
ことを特徴とする撮像システム。
続きを表示（約 1,500 文字）【請求項２】
前記歪み情報処理部は、前記画像の特徴点の再投影点を計算し、
前記歪み情報処理部は、前記再投影点を始点とし、前記画像上における実際の前記特徴点を終点とする、ベクトルを計算し、
前記歪み情報処理部は、前記ベクトルまたは前記ベクトルに対して１．０未満の係数を乗算したベクトルを、前記差分歪みの前記更新後の値として用いる
ことを特徴とする請求項１記載の撮像システム。
【請求項３】
前記撮像システムはさらに、前記差分歪みを平滑化する差分歪み平滑化部を備え、
前記差分歪み平滑化部は、前記画像の空間周波数と前記カメラの製造誤差に基づき、前記差分歪みを平滑化する
ことを特徴とする請求項１記載の撮像システム。
【請求項４】
前記パラメトリック歪みから変換されたパラメトリック歪み情報を格納するパラメトリック歪み情報格納部、
前記差分歪みから変換された差分歪み情報を格納する差分歪み情報格納部、
前記パラメトリック歪み情報からパラメトリック歪みを復元するパラメトリック歪み計算部、
前記差分歪み情報から差分歪みを復元する差分歪み計算部、
を備え、
前記歪み補正部は、前記パラメトリック歪み計算部が復元したパラメトリック歪みと前記差分歪み計算部が復元した差分歪みそれぞれの歪み補正を前記画像に対して適用する
ことを特徴とする請求項１記載の撮像システム。
【請求項５】
前記パラメトリック歪み情報格納部は、前記画像を撮影する環境の温度、前記環境の湿度、および、前記カメラの累積使用時間の組み合わせごとに、前記パラメトリック歪み情報を格納し、
前記差分歪み情報格納部は、前記温度、前記湿度、および、前記累積使用時間の組み合わせごとに、前記差分歪み情報を格納する
ことを特徴とする請求項４記載の撮像システム。
【請求項６】
前記歪み情報処理部は、製造誤差の事前情報に基づいて前記差分歪みの初期値を設定する
ことを特徴とする請求項１記載の撮像システム。
【請求項７】
前記歪み補正部は、前記カメラからインターフェースを介して前記画像を受け取る画像処理ユニット上に実装されており、
前記歪み情報処理部は、前記カメラの外部かつ前記画像処理ユニットの外部の計算機上に実装されている
ことを特徴とする請求項１記載の撮像システム。
【請求項８】
前記歪み情報処理部と前記歪み補正部は、前記カメラからインターフェースを介して前記画像を受け取る画像処理ユニット上に実装されている
ことを特徴とする請求項１記載の撮像システム。
【請求項９】
前記歪み情報処理部と前記歪み補正部と前記パラメトリック歪み情報格納部と前記差分歪み情報格納部と前記パラメトリック歪み計算部と前記差分歪み計算部は、前記カメラからインターフェースを介して前記画像を受け取る画像処理ユニット上に実装されている
ことを特徴とする請求項４記載の撮像システム。
【請求項１０】
前記歪み補正部は、前記カメラからインターフェースを介して前記画像を受け取る画像処理ユニット上に実装されており、
前記歪み情報処理部と前記パラメトリック歪み情報格納部と前記差分歪み情報格納部と前記パラメトリック歪み計算部と前記差分歪み計算部は、前記カメラの外部かつ前記画像処理ユニットの外部の計算機上に実装されている
ことを特徴とする請求項４記載の撮像システム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、撮像システムに関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
複数視点に設置したカメラで取得されたＲＧＢ画像を用いた３次元復元や、ＴｏＦなどのｄｅｐｔｈカメラで取得されたｄｅｐｔｈ画像を用いた３次元復元、ステレオカメラによる距離情報の取得、単眼ＲＧＢカメラによる機械学習を用いた距離情報の取得などにおいて、それらを高精度に実施するためには、各画像の高精度な歪み補正 (キャリブレーション、画像較正) が必要となる。
【０００３】
非特許文献１には、任意の位置においたキャリブレーションボードを複数回撮影した結果から、パラメトリック光学モデルに基づいてキャリブレーションを簡易に実施する技術が開示されている。
【０００４】
特許文献１には、画像中心部においてパラメトリック光学モデルを仮定して求めたキャリブレーションボード（校正板）の３次元座標を用い、そこから計算される所望の補正後画像のボード特徴点２次元座標と、実際に写るボード特徴点２次元座標の差分とから、画像全体の画像歪みを補正する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
特開２０１３－０３６８３１号
【非特許文献】
【０００６】
Z. Zhang, "A flexible new technique for camera calibration," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22, no. 11, pp. 1330-1334, Nov. 2000, doi: 10.1109/34.888718.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述の非特許文献１では、パラメトリック光学モデルを仮定しているので、キャリブレーションで補正できる歪みは、その光学モデルに含まれているパラメトリック歪み成分のみであるという問題がある。
【０００８】
上述の特許文献１では、所望の補正後画像と実際の撮像画像との差分を計算することにより、ノンパラメトリック歪み成分も考慮している。しかし、歪みの大きな光学系の場合、その差分の絶対値が大きくなることにより、測定誤差の影響を受けやすいという問題がある。さらに、キャリブレーションボードの３次元座標を算出する際にパラメトリック光学モデルを仮定しているので、その光学モデルに含まれていない歪み成分がある場合には、ボードの３次元座標の計算、ならびに画像全体の画像歪み補正において誤差が生じる問題がある。
【０００９】
本発明は、このような状況を鑑みてなされたものであって、ノンパラメトリックな歪み成分も補正できる高精度なキャリブレーションを適用可能な撮像システムを実現することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る撮像システムは、画像に対して差分歪みを適用するステップ、前記差分歪みを適用した前記画像から前記パラメトリック歪みを計算するステップ、前記画像が有する歪みと前記計算した前記パラメトリック歪みとの間の差分またはその差分から導出される値を前記差分歪みの更新後の値として計算するステップ、を１回以上実施する。
【発明の効果】
（【００１１】以降は省略されています）

関連特許