TOP特許意匠商標
特許ウォッチ DM通知 Twitter
公開番号2022071177
公報種別公開特許公報(A)
公開日2022-05-13
出願番号2022035938,2020503839
出願日2022-03-09,2018-05-15
発明の名称多重化高ダイナミックレンジ画像
出願人レイセオン カンパニー
代理人個人,個人,個人
主分類H04N 5/235 20060101AFI20220506BHJP(電気通信技術)
要約【課題】時間多重化された、高ダイナミックレンジ画像を作成する方法を提供する。
【解決手段】方法は、イメージセンサからキャプチャされた、ベース露出レベルを持つ、第1の画像を取得し、第1の画像を蓄積メモリに格納し、ベース露出レベルと比較して変更された露出レベルを持つ第2の画像を取得し、第2の画像内の入力ピクセルが飽和閾値を超えているかについて判定し、蓄積メモリ内に高ダイナミックレンジ画像を形成する。第2の画像のピクセルは、第1の画像のピクセルと結合される。
【選択図】図4
特許請求の範囲【請求項1】
時間多重化された高ダイナミックレンジ画像を生成する方法であって、
イメージセンサからキャプチャされたベース露出レベルを持つ第1の画像を取得することと、
前記第1の画像を蓄積メモリに格納することと、
前記ベース露出レベルよりも高い露出レベルを持つ第2の画像を取得することと、
前記第2の画像内の入力ピクセルの飽和レベルが飽和閾値を超えているかを判定することと、
前記飽和閾値を下回る飽和を持つ前記第2の画像の前記入力ピクセルを、格納された前記第1の画像のピクセルと結合して、前記蓄積メモリに格納される高ダイナミックレンジ画像を形成することと、
を有する方法。

発明の詳細な説明【背景技術】
【0001】
光イメージング及び写真撮影において、より小さい輝度範囲を各画像露出に使用する撮像技術で可能なものよりも大きい範囲の光度を再現するために、高ダイナミックレンジ撮像が使用される。HDR(高ダイナミックレンジ)は、像内の、人間の眼の能力にいっそう似た輝度範囲を提示することができる。人間の眼は、虹彩を使って、見ているシーン内の広範囲の輝度に絶えず適応する。この見た情報を脳が継続的に解釈することで、見ている者は広範囲の光条件において見ることができる。対照的に、既存の撮像技術は、一般に、キャプチャされる像内のより小さい輝度範囲を捕捉する。
続きを表示(約 3,400 文字)【0002】
HDR画像は、より低い輝度範囲を捕捉する装置を使用して達成されることができるものよりも大きい範囲の輝度レベルを表現することができる。捕捉され得る大きい輝度範囲を持つシーンの例は、非常に明るい直射日光から、より大きい輝度範囲を持つ極度の影の暗い像又は空間のほのかな像までを含む多くの実世界のシーンを含み得る。HDR画像は、同じシーン又は被写体の複数の狭い範囲の露出を組み合わせることによって作成されることが多い。大抵のイメージセンサ又はカメラは、限られた露出範囲で写真を撮影し、ハイライト又はシャドウの細部の喪失をもたらす。
【0003】
HDR画像は、複数の低ダイナミックレンジ(LDR)又は標準ダイナミックレンジ(SDR)の写真を融合させることから作成され得る。HDR画像はまた、例えば、HDR画像に使用される複数の露出レベルを持つ画像をキャプチャするために使用され得る複数のカメラヘッドの使用などの、高価な特殊イメージセンサ構成を使用して取得され得る。
【図面の簡単な説明】
【0004】
時間多重化高ダイナミックレンジ画像の作成のためのシステムの一例を示すブロック図である。
フレームバッファに出力される時間多重化高ダイナミックレンジ画像の作成のためのシステムの一例を示すブロック図である。
有人又は無人のビークルからキャプチャされた画像を用いた時間多重化高ダイナミックレンジ画像の作成のためのシステムの一例を示すブロック図である。
時間多重化高ダイナミックレンジ画像の生成用のイメージセンサによってキャプチャされることが可能なベイヤー色空間にて蓄積される像の一部の例示である。
初期露出及び増加された露出を有する画像が結合されてHDR画像を作り出す一例を示すフローチャートである。
時間多重化高ダイナミックレンジ画像の作成のための処理の一例を示すフローチャート図である。
本技術で使用され得るコンピューティング装置の一例を提供するブロック図である。
【発明を実施するための形態】
【0005】
時間多重化された高ダイナミックレンジ(HDR)画像の作成のための技術が提供され得る。これらの画像は、所定のフレームレート(例えば、毎秒20フレームから60フレーム以上)のフルモーションビデオで使用されることができ、あるいは、静止画像が作成されてもよい。本技術を実行する方法は、HDR画像を作成するための動作を含み得る。例えば、ベース露出レベルを持つ第1の画像をイメージセンサから取得することができ、該第1の画像を蓄積メモリに格納することができる。イメージセンサは、フルモーションビデオ用の画像をキャプチャするように構成されたカメラとし得る。一構成において、画像はベイヤー色空間にて格納されることができ、イメージセンサ又はカメラは生来的に、ベイヤー色空間フォーマットで画像をキャプチャするように構成されることができる。他の色画像空間もイメージセンサによって使用されることができる。
【0006】
ベース露出レベルと比較して変更された露出レベル(例えば、増加された露出レベル)を持つ第2の画像を、イメージセンサを用いて取得することができる。別の動作は、第2の画像内の入力ピクセルの飽和レベルが飽和閾値を超えているかについての判定とし得る。入力画像は、当該入力画像のピクセルが飽和閾値を下回っていて蓄積メモリ内の画像と組み合わせるべきかを決定するために、ピクセルについて計算された推定画像強度を有し得る。
【0007】
さらに、第1の画像内の局所ピクセル群の第1の局所エッジ推定、及び第2の画像内の第2の局所ピクセル群の第2の局所エッジ推定を決定することができる。この局所エッジ推定は、勾配計算又は他の局所エッジ推定を用いて決定されることができる。第1の局所エッジ推定を第2の局所エッジ推定と比較することで、第1の画像をキャプチャすることと第2の画像をキャプチャすることとの間の画像における動きに起因して、上記局所ピクセル群と上記第2の局所ピクセル群との比較において変化があったかを判定することができる。入力ピクセルの飽和が飽和レベル又は飽和閾値を超えておらず、且つ動きが動き閾値を下回っている場合、これらの基準を満たす第2の画像の個々のピクセルを、第1の画像のそれぞれのピクセルと組み合わせることができる。局所エッジ推定及び飽和閾値の検査を行うことは、ピクセル毎をベースにして、飽和閾値を下回っていて且つ動きが検出されなかった第2の画像からの全てのピクセルが第1の画像に結合されるまで実行され得る。
【0008】
蓄積バッファ内に画像を蓄積するプロセスは、ある出力フレームレートで出力フレームを作成するように、いくつもの入力画像に対して繰り返され得る。例えば、イメージセンサ又はカメラは、出力フレームレートのN倍又は所望のフレームレートで動作されることができる。露出は、キャプチャされたN個のフレームで構成されるデータセットを形成するよう、N個のフレームの各々について、N個の異なるレベルのうちの1つに設定されることができる。各出力フレームが、HDR画像を形成するために使用されるデータセット内にN個の関連フレームを有することができる。これらNフレームは、HDR画像を作成するために使用され、一般的にユーザによって見られるものとはならない。このプロセスは、HDR画像を作成するための総メモリ要求を低減させるために、データセット内のN個のフレームの各々を蓄積メモリに格納されたデータと組み合わせることによって、蓄積メモリを再帰的に使用することができる。より具体的には、出力フレームが完成されるまで、蓄積メモリに格納された先行結果が各入力画像フレームと結合される。
【0009】
この技術は、限られたハードウェア及び計算リソースを有し得るコンピューティング及び撮像システム上で動作するが、そのシステムは依然としてHDRイメージを提供することができる。以前のHDRシステムでは、複数の画像がロー(raw)カメラデータフォーマットでキャプチャされていた。そして、例えば画像のモザイク解除(demosicing)、画像の色補正、画像の強度補正、及び/又はCIE色空間への画像変換などの、画像を見える画像に変換するためのステップが実行されていた。従来システムではこの時点で、強度空間内の複数の画像が共に結合されて、最終的なHDR画像を作成していた。キャプチャされたフォーマットからの画像を見える画像へと変換するこのプロセスは、望ましい数学的出力を提供するが、複数の画像のために大量のメモリを占有してしまい得る。対照的に、本技術は、入力画像を強度空間に変換せず、単一の蓄積メモリにロー画像フォーマット(例えば、ベイヤー画像空間)で画像を蓄積する。
【0010】
前述したように、本技術は、所望の出力レートよりも高いレートでN個のフレームをキャプチャし、これら増加された数のキャプチャされたフレームからHDR画像を生成することができる。例えば、多くの既存の市販カメラは30Hzで動作し、データセット内の追加の画像に使用され得るもっと高いフレームレートは、60Hz(出力フレーム又は表示フレームごとに2つのキャプチャフレーム)にされることができ、あるいは、90Hz(出力フレームごとに3つのキャプチャフレーム)又はそれよりも高いキャプチャフレームレートも使用されることができる。最初のフレームはベース露出(見える写真の露出と考えられ得るもの)に設定されることができ、次いで、画像のハイライトを捕捉するために、後続の画像キャプチャのために画像露出を増加させることができる。画像の暗めの部分についての新しい情報が入って来るにつれて、入力画像のそれら有用な部分が、蓄積メモリに現在格納されている画像とインテリジェントに組み合わされ、故に、画像の明るめの部分は不変のままであることができる。これは、時間多重化された露出出力をもたらす。
(【0011】以降は省略されています)

特許ウォッチbot のツイート
この特許をJ-PlatPatで参照する

関連特許

個人
音体感装置
26日前
TOA株式会社
通話システム
21日前
キヤノン株式会社
電子機器
1か月前
キヤノン株式会社
撮像装置
19日前
シャープ株式会社
通信装置
1か月前
株式会社オカムラ
什器
4日前
株式会社EPM
マイクシールド
6日前
株式会社EPM
マイクシールド
6日前
オンキヨーサウンド株式会社
イヤホン
今日
オンキヨーサウンド株式会社
イヤホン
今日
キヤノン株式会社
電子機器
1か月前
日本放送協会
変調装置及び受信機
22日前
株式会社村田製作所
通信システム
1か月前
サクサ株式会社
緊急通報装置
26日前
アイホン株式会社
インターホン機器
5日前
アイホン株式会社
インターホン機器
22日前
アイホン株式会社
インターホン機器
22日前
インフィニテグラ株式会社
装着型表示装置
11日前
シャープ株式会社
画像処理システム
1か月前
アイホン株式会社
インターホン機器
5日前
アイホン株式会社
インターホン機器
1か月前
シャープ株式会社
画像処理システム
19日前
個人
重複利用する携帯電話通信システム機器
今日
株式会社ニコン
撮像装置
20日前
三菱電機株式会社
放送受信装置
1か月前
ミハル通信株式会社
光端末装置
1か月前
ミハル通信株式会社
光端末装置
1か月前
株式会社アイリス
保持具
1か月前
キヤノン株式会社
画像形成装置
1か月前
三菱電機株式会社
映像表示装置
4日前
日本アンテナ株式会社
監視装置
今日
株式会社ニコン
撮像素子
8日前
三菱電機株式会社
スピーカ装置
5日前
株式会社ユピテル
ドライブレコーダ等
1か月前
株式会社ユピテル
システムおよびプログラム等
1か月前
株式会社デンソー
通信装置
26日前
続きを見る