特許ウォッチ

公開番号2025090012
公報種別公開特許公報(A)
公開日2025-06-16
出願番号2024199347
出願日2024-11-15
発明の名称画像変換機器と方法
出願人富士通株式会社
代理人弁理士法人ITOH
主分類G06T 7/80 20170101AFI20250609BHJP(計算;計数)
要約【課題】本発明は、画像変換機器と方法を提供する。
【解決手段】かかる機器は、オリジナル画像の第一パラメータの値に基づいて前記オリジナル画像に対して第一画像処理を行って中間画像を取得する第一画像処理装置;前記中間画像の前記第一パラメータの値に基づいて前記中間画像に対して第一画像処理を繰り返して実行して最終中間画像を取得する反復装置;歪み有り画像とその対応する透視画像との間の変換関係、前記オリジナル画像、及び前記最終中間画像に基づいて、前記第一パラメータの推定値を推定する推定装置;及び、前記第一パラメータの推定値に基づいて前記オリジナル画像に対して第二画像処理を行って変換画像を取得する第二画像処理装置を含む。
【選択図】図7

特許請求の範囲【請求項１】
画像を変換する機器であって、
オリジナル画像の第一パラメータの値に基づいて前記オリジナル画像に対して第一画像処理を行って中間画像を取得する第一画像処理装置；
前記中間画像の前記第一パラメータの値に基づいて前記中間画像に対して第一画像処理を繰り返して実行して最終中間画像を取得する反復装置；
歪み有り画像と、対応する透視画像との間の変換関係、前記オリジナル画像、及び前記最終中間画像に基づいて、前記第一パラメータの推定値を推定する推定装置；及び
前記第一パラメータの推定値に基づいて前記オリジナル画像に対して第二画像処理を行って変換画像を取得する第二画像処理装置を含む、機器。
続きを表示（約 1,700 文字）【請求項２】
請求項１に記載の機器であって、
前記反復装置が実行する反復の終了条件は前記第一パラメータの値の変化傾向が反転し始めること又は所定の反復回数に達することを含む、機器。
【請求項３】
請求項１に記載の機器であって、
前記変換関係は透視画像から歪み有り画像への変換の第一変換関係を含み、
前記推定装置は前記第一変換関係に基づいて前記最終中間画像を対応する歪み有り画像に変換し、かつ前記最終中間画像に対応する歪み有り画像及び前記オリジナル画像に基づいて第一差分関数の値が最小のときの前記第一パラメータの推定値を取得し、
前記第一差分関数は前記最終中間画像に対応する歪み有り画像と前記オリジナル画像との間の差異を表す、機器。
【請求項４】
請求項１に記載の機器であって、
前記変換関係は歪み有り画像から透視画像へ変換の第二変換関係を含み、
前記推定装置は前記第二変換関係に基づいて前記最終中間画像を対応する透視画像に変換し、かつ前記最終中間画像に対応する透視画像及び前記オリジナル画像に基づいて第二差分関数の値が最小のときの前記第一パラメータの推定値を取得し、
前記第二差分関数は前記最終中間画像に対応する透視画像と前記オリジナル画像との間の差異を表す、機器。
【請求項５】
請求項３又は４に記載の機器であって、
前記推定装置は最小二乗法を用いて前記第一パラメータの前記推定値を計算する、機器。
【請求項６】
請求項１に記載の機器であって、
前記第一パラメータは画像に対応するカメラの焦点距離及び／又は歪み係数を含む、機器。
【請求項７】
請求項３に記載の機器であって、
前記第一画像処理装置が前記第一画像処理を行うことは、
前記オリジナル画像のサイズに基づいて拡大率を推定してキャンバスを拡大し；
前記オリジナル画像の前記第一パラメータの値に基づいて拡大後のキャンバスに対してバイリニア補間処理を行って第一補間画像を取得し；
前記第一補間画像に対してトリミング処理を行って前記オリジナル画像のアスペクト比に等しいアスペクト比の第一トリミング画像を取得し；及び
前記第一トリミング画像に対して拡縮処理を行って前記オリジナル画像のサイズと同じサイズの前記中間画像を取得することを含む、機器。
【請求項８】
請求項３に記載の機器であって、
前記第二画像処理装置が前記第二画像処理を行うことは、
前記オリジナル画像のサイズに基づいて拡大率を推定してキャンバスを拡大し；
前記第一パラメータの前記推定値に基づいて拡大後のキャンバスに対してバイリニア補間処理を行って第二補間画像を取得し；
前記第二補間画像に対してトリミング処理を行って前記オリジナル画像のアスペクト比に等しいアスペクト比の第二トリミング画像を取得し；及び
前記第二トリミング画像に対して拡縮処理を行って前記オリジナル画像のサイズと同じサイズの前記変換画像を得ることを含む、機器。
【請求項９】
請求項１に記載の機器であって、
前記オリジナル画像の第一パラメータの値及び前記中間画像の第一パラメータの値を取得するパラメータ取得装置をさらに含む、機器。
【請求項１０】
画像を変換する方法であって、
オリジナル画像の第一パラメータの値に基づいて前記オリジナル画像に対して第一画像処理を行って中間画像を取得し；
前記中間画像の前記第一パラメータの値に基づいて前記中間画像に対して第一画像処理を繰り返して実行して最終中間画像を取得し；
歪み有り画像と、対応する透視画像との間の変換関係、前記オリジナル画像、及び前記最終中間画像に基づいて、前記第一パラメータの推定値を推定し；及び
前記第一パラメータの推定値に基づいて前記オリジナル画像に対して第二画像処理を行って変換画像を取得することを含む、方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理の技術分野に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
コンピュータビジョン技術が既に生産や生活のあらゆる側面で幅広く適用されている。カメラのキャリブレーションがコンピュータビジョン技術の重要な部分である。カメラのキャリブレーション方法には主に内部カメラパラメータキャリブレーション方式及び外部カメラパラメータキャリブレーション方式が含まれ、そのうち、内部カメラパラメータキャリブレーション技術にはカメラレンズに起因する非線形歪み係数も含まれる。
【０００３】
従来のカメラキャリブレーション方法では、サイズが既知のキャリブレーションオブジェクト（ｃａｌｉｂｒａｔｉｏｎｏｂｊｅｃｔ）を使用する必要があり、キャリブレーションオブジェクト上の既知の座標を持つ点と、その画像点との間の対応関係を確立することで、所定のアルゴリズムを用いてカメラモデルの内部と外部のパラメータを取得する。キャリブレーションプロセスではキャリブレーションオブジェクトが常に必要であるため、キャリブレーションオブジェクトの製作精度はキャリブレーション結果に影響を及ぼすことがあり、また、キャリブレーションオブジェクトの配置が適切でない場合に、該方法は制限されることもある。
【０００４】
よって、キャリブレーションオブジェクトを必要としないカメラキャリブレーション方法、例えば、カメラキャリブレーション用のディープラーニング方法に基づいてＲＧＢ画像を用いてカメラの内部パラメータを推定する方法が提案されている。これにより、カメラキャリブレーションの適用範囲を広げることができる。
【０００５】
なお、上述の背景技術についての紹介は、本発明の技術案を明確かつ完全に説明し、また、当業者がそれを理解しやすいためのものである。これらの技術案は、本発明の背景技術に記述されているため、当業者にとって周知であると解釈してはならない。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
発明者が次のようなことを発見した。即ち、従来技術では、画像の歪み（ｄｉｓｔｏｒｔｉｏｎ）が比較的小さく又は歪みが存在しないときに、ディープラーニング方法を用いて得られたカメラパラメータの精度は高くなく、画像に比較的大きな歪みが存在するときに、ディープラーニング方法により推定されたパラメータを用いて画像歪み除去プロセスを１回だけ実行することで得られた歪み除去後画像には依然として多くの歪み成分があり、また、該パラメータを用いて歪み除去プロセスを複数回実行すると、歪み除去後画像の画質は低下する。
【０００７】
上述の問題のうちの少なくとも１つに鑑み、本発明の実施例は画像変換機器と方法を提供する。
【課題を解決するための手段】
【０００８】
本発明の実施例の第一側面によれば、画像変換機器が提供され、前記機器は、
オリジナル画像の第一パラメータの値に基づいて前記オリジナル画像に対して第一画像処理を行って中間画像を得る第一画像処理装置；
前記中間画像の前記第一パラメータの値に基づいて前記中間画像に対して第一画像処理を繰り返して実行して最終中間画像を得る反復（ｉｔｅｒａｔｉｏｎ）装置；
歪み有り画像と、対応する透視画像（ｐｅｒｓｐｅｃｔｉｖｅｉｍａｇｅ）との間の変換関係、前記オリジナル画像、及び前記最終中間画像に基づいて、前記第一パラメータの推定値を推定する推定装置；及び
前記第一パラメータの推定値に基づいて前記オリジナル画像に対して第二画像処理を行って変換画像を得る第二画像処理装置を含む。
【０００９】
本発明の実施例の第二側面によれば、画像変換方法が提供され、前記方法は、
オリジナル画像の第一パラメータの値に基づいて前記オリジナル画像に対して第一画像処理を行って中間画像を取得し；
前記中間画像の前記第一パラメータの値に基づいて前記中間画像に対して第一画像処理を繰り返して実行して最終中間画像を取得し；
歪み有り画像と、対応する透視画像との間の変換関係、前記オリジナル画像、及び前記最終中間画像に基づいて、前記第一パラメータの推定値を推定し；及び
前記第一パラメータの推定値に基づいて前記オリジナル画像に対して第二画像処理を行って変換画像を取得することを含む。
【発明の効果】
【００１０】
本発明の実施例の有利な効果は少なくとも次のとおりである。即ち、オリジナル画像に対して画像処理を複数回行って複数の中間画像を取得し、オリジナル画像及び複数の中間画像を訓練データとして第一パラメータの推定値を推定することにより、高精度の第一パラメータを得ることができるため、オリジナル画像の歪みを除去するときに画像歪み除去精度を向上させることができ、また、該高精度のパラメータに基づいてオリジナル画像に対して画像処理を行うことにより、歪み除去効果が良く、かつ画質が高い画像を得ることができ、さらに、オリジナル画像に歪みを加えるときに実際の状況に近いディストーション画像（歪んだ画像）を得ることができるため、異なるシーンでの適用に対応することができる。
（【００１１】以降は省略されています）

関連特許