特許ウォッチ

公開番号2024085780
公報種別公開特許公報(A)
公開日2024-06-27
出願番号2022200508
出願日2022-12-15
発明の名称画像処理装置、画像処理方法
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 5/00 20240101AFI20240620BHJP(計算;計数)
要約【課題】ハローや黒沈みを抑制するための技術を提供すること。
【解決手段】入力画像における局所領域のカラーチャンネルの最小値を画素値とするダークチャンネル画像を、該入力画像に基づいて複数生成する。生成したダークチャンネル画像に基づいて特徴量を求め、該特徴量に基づいて、生成したダークチャンネル画像に基づく合成ダークチャンネル画像を生成する。合成ダークチャンネル画像に基づいて環境光を算出する。入力画像と環境光とに基づいて大気の透過率分布を生成する。入力画像を用いて透過率分布を整形する。整形された整形済み透過率分布と、環境光と、に基づいて、入力画像のコントラストを補正した補正画像を生成する。
【選択図】図3
特許請求の範囲【請求項１】
入力画像における局所領域のカラーチャンネルの最小値を画素値とするダークチャンネル画像を、該入力画像に基づいて複数生成する第１生成手段と、
前記第１生成手段が生成したダークチャンネル画像に基づいて特徴量を求め、該特徴量に基づいて、前記第１生成手段が生成したダークチャンネル画像に基づく合成ダークチャンネル画像を生成する合成手段と、
前記合成ダークチャンネル画像に基づいて環境光を算出する算出手段と、
前記入力画像と前記環境光とに基づいて大気の透過率分布を生成する第２生成手段と、
前記入力画像を用いて前記透過率分布を整形する整形手段と、
前記整形手段により整形された整形済み透過率分布と、前記環境光と、に基づいて、前記入力画像のコントラストを補正した補正画像を生成する第３生成手段と
を備えることを特徴とする画像処理装置。
続きを表示（約 1,400 文字）【請求項２】
前記第１生成手段は、それぞれサイズが異なる局所領域に対応するダークチャンネル画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１生成手段は、前記入力画像から、それぞれ解像度が異なる複数の縮小画像を生成し、該縮小画像における局所領域のカラーチャンネルの最小値を画素値とするダークチャンネル画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記合成手段は、前記第１生成手段が生成した複数のダークチャンネル画像のうち１つのダークチャンネル画像において被写体距離が異なる被写体が隣接している境界の推定結果に基づいて、該１つのダークチャンネル画像を除く他のダークチャンネル画像に基づく合成ダークチャンネル画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記合成手段は、前記１つのダークチャンネル画像に対してエッジ検出を行うことで得られる画像を前記推定結果として取得することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記合成手段は、前記入力画像のダークチャンネル画像に基づいて環境光を算出し、前記入力画像と該環境光とに基づいて大気の透過率分布を生成し、該透過率分布と該環境光とに基づいて、前記入力画像のコントラストを補正した画像を生成し、該画像と前記入力画像とに基づいてマップを生成し、該マップに基づいて、前記第１生成手段が生成したダークチャンネル画像に基づく合成ダークチャンネル画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記第３生成手段は、前記補正画像に対してガンマ補正を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
さらに、
撮像手段と、
前記撮像手段による撮像で得られるＲＡＷ画像に対して現像処理を行って前記入力画像を生成する現像手段と
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
画像処理装置が行う画像処理方法であって、
前記画像処理装置の第１生成手段が、入力画像における局所領域のカラーチャンネルの最小値を画素値とするダークチャンネル画像を、該入力画像に基づいて複数生成する第１生成工程と、
前記画像処理装置の合成手段が、前記第１生成工程で生成したダークチャンネル画像に基づいて特徴量を求め、該特徴量に基づいて、前記第１生成工程で生成したダークチャンネル画像に基づく合成ダークチャンネル画像を生成する合成工程と、
前記画像処理装置の算出手段が、前記合成ダークチャンネル画像に基づいて環境光を算出する算出工程と、
前記画像処理装置の第２生成手段が、前記入力画像と前記環境光とに基づいて大気の透過率分布を生成する第２生成工程と、
前記画像処理装置の整形手段が、前記入力画像を用いて前記透過率分布を整形する整形工程と、
前記画像処理装置の第３生成手段が、前記整形工程で整形された整形済み透過率分布と、前記環境光と、に基づいて、前記入力画像のコントラストを補正した補正画像を生成する第３生成工程と
を備えることを特徴とする画像処理方法。
【請求項１０】
コンピュータを、請求項１ないし７のいずれか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、入力画像におけるコントラストを補正するための技術に関する。
続きを表示（約 3,000 文字）【背景技術】
【０００２】
監視カメラや車載カメラの分野において、カメラから被写体までの間に存在する霧などの影響により、撮影画像の視認性低下が問題となっている。これは光が大気を通過する際に微小粒子成分によって光散乱することで、撮影画像のコントラストの低下が発生するためである。この現象は被写体までの距離によって散乱度合いが変化するため、被写体までの距離が混在するシーンの画像は、画像領域ごとにコントラストの低下の度合いが異なる画像となる。このようなコントラストの低下を補正する手法として、特許文献１のような手法がある。特許文献１では、霧などの影響によって黒浮きが発生すると仮定し、領域におけるカラーチャンネル最小画素値（以下、ダークチャンネル）から、大気の透過率分布を算出し、大気モデルに基づき、霧の影響を除去する（以下、霧除去）。また、非特許文献１では、透過率分布を階層的に合成することで、補正不足によって被写体が白くなってしまう画質弊害（以下、ハロー）や過補正によって被写体が黒くなってしまう画質弊害（以下、黒沈み）を低減し、視認性の向上を行う。
【先行技術文献】
【特許文献】
【０００３】
米国特許第8340461号明細書
【非特許文献】
【０００４】
Qiyuan Liang, City University of Hong Kong、”PYRAMID FUSION DARK CHANNEL PRIOR FOR SINGLE IMAGE DEHAZING”、Computer Vision and Pattern Recognition, arXiv:2105.10192
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の手法では、ダークチャンネルによる霧量推定結果にて、実際より少ないと判定された領域ではハローが、実際より多いと判定された領域では黒沈みが、といった画質弊害が発生してしまっていた。一方、非特許文献１の手法では、画素ごとにハロー・黒沈みが発生しやすい領域が異なるのに対し、全ての画素で一定の比率で透過率マップの合成を行うため、ハロー・黒沈みの低減効果が低くなってしまっていた。本発明では、ハローや黒沈みを抑制するための技術を提供する。
【課題を解決するための手段】
【０００６】
本発明の一様態は、入力画像における局所領域のカラーチャンネルの最小値を画素値とするダークチャンネル画像を、該入力画像に基づいて複数生成する第１生成手段と、前記第１生成手段が生成したダークチャンネル画像に基づいて特徴量を求め、該特徴量に基づいて、前記第１生成手段が生成したダークチャンネル画像に基づく合成ダークチャンネル画像を生成する合成手段と、前記合成ダークチャンネル画像に基づいて環境光を算出する算出手段と、前記入力画像と前記環境光とに基づいて大気の透過率分布を生成する第２生成手段と、前記入力画像を用いて前記透過率分布を整形する整形手段と、前記整形手段により整形された整形済み透過率分布と、前記環境光と、に基づいて、前記入力画像のコントラストを補正した補正画像を生成する第３生成手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ハローや黒沈みを抑制するための技術を提供することができる。
【図面の簡単な説明】
【０００８】
システムの構成例を示す図。
カメラ１００に適用可能なハードウェア構成例を示すブロック図。
画像処理部２０８の機能構成例を示すブロック図。
ＲＡＷ画像に基づいて、コントラストが補正された画像（霧除去処理が施された画像）を生成するためにカメラ１００が行う処理のフローチャート。
合成ダークチャンネル画像を生成するための処理の構成例を示すブロック図。
現像画像Ｉ’からダークチャンネル画像ｄａｒｋ
１
を生成するための処理を示す図。
透過率分布の整形処理を説明するための図。
ｔｈの設定例を示す図。
推定部３０３の機能構成例を示すブロック図。
ステップＳ４０５における処理の詳細を示すフローチャート。
ラプラシアンフィルタを用いた距離境界推定画像の生成処理を説明するための図。
最大値フィルタによる距離境界推定画像の補正を説明するための図。
画像処理部２０８の機能構成例を示すブロック図。
ＲＡＷ画像に基づいて、コントラストが補正された画像（霧除去処理が施された画像）を生成するためにカメラ１００が行う処理のフローチャート。
合成ダークチャンネル画像を生成するための処理の構成例を示す図。
画像処理部２０８の機能構成例を示すブロック図。
ＲＡＷ画像に基づいて、コントラストが補正された画像（霧除去処理が施された画像）を生成するためにカメラ１００が行う処理のフローチャート。
黒沈みマップＢＣＭを生成するための処理の構成例を示すブロック図。
ステップＳ１７０５における処理の詳細を示すフローチャート。
現像画像Ｉ’、該現像画像Ｉ’に対応する黒沈みマップ算出用霧除去画像Ｊ”、の一例を示す図。
図２０に示した現像画像Ｉ’に対応する黒沈みマップＢＣＭの一例を示す図。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１０】
［第１の実施形態］
本実施形態では、入力画像における局所領域のカラーチャンネルの最小値を画素値とするダークチャンネル画像を、該入力画像に基づいて複数生成する。そして、該生成した複数のダークチャンネル画像のうち１つダークチャンネル画像の特徴量に基づいて、該複数のダークチャンネル画像のうち該１つのダークチャンネル画像を除く他のダークチャンネル画像を合成した合成ダークチャンネル画像を生成する。本実施形態では、ダークチャンネル画像の特徴量として、被写体距離が異なる被写体が隣接している境界（距離境界）を表す距離境界推定画像を生成する。そして、該合成ダークチャンネル画像に基づいて環境光を算出し、該入力画像と該環境光とに基づいて大気の透過率分布を生成し、該入力画像を用いて該透過率分布を整形する。そして、該整形された整形済み透過率分布と、該環境光と、に基づいて、該入力画像のコントラストを補正した補正画像を生成する。このような処理を行うことで、距離境界がある領域の周辺で発生していたダークチャンネルの霧量の誤推定を軽減するので、画質弊害を低減することができる。
（【００１１】以降は省略されています）

関連特許