特許ウォッチ

公開番号2024064273
公報種別公開特許公報(A)
公開日2024-05-14
出願番号2022172738
出願日2022-10-27
発明の名称撮像装置
出願人日本放送協会
代理人個人,個人,個人,個人
主分類H04N 23/60 20230101AFI20240507BHJP(電気通信技術)
要約【課題】撮像領域ごとに適した動作モードを自動判定し、局所的な高フレームレート撮像もしくは高解像度撮像を実現する撮像装置を提供する。
【解決手段】撮像装置は、フィードバック信号に応じて、高フレームレート撮像と高解像度撮像を複数の画素からなる画素ブロックごとに切り換える機能を有する撮像素子を備え、前記撮像素子の撮像画像、雲台のパン・チルト情報、及びレンズの焦点距離情報を出力する撮像部と、前記パン・チルト情報と前記焦点距離情報から前記撮像素子の撮像画面の動きを検出して、グローバル動き信号を出力するグローバル動き検出部と、前記撮像画像から被写体の動きを検出して、ローカル動き信号を出力するローカル動き検出部と、前記グローバル動き信号と前記ローカル動き信号から前記フィードバック信号を生成するOR回路と、を備えることを特徴とする。
【選択図】図1
特許請求の範囲【請求項１】
フィードバック信号に応じて、高フレームレート撮像と高解像度撮像を複数の画素からなる画素ブロックごとに切り換える機能を有する撮像素子を備え、前記撮像素子の撮像画像、雲台のパン・チルト情報、及びレンズの焦点距離情報を出力する撮像部と、
前記パン・チルト情報と前記焦点距離情報から前記撮像素子の撮像画面の動きを検出して、グローバル動き信号を出力するグローバル動き検出部と、
前記撮像画像から被写体の動きを検出して、ローカル動き信号を出力するローカル動き検出部と、
前記グローバル動き信号と前記ローカル動き信号から前記フィードバック信号を生成するＯＲ回路と、
を備えることを特徴とする、撮像装置。
続きを表示（約 600 文字）【請求項２】
請求項１に記載の撮像装置において、
前記撮像素子は、光電変換部を備えた画素を隣接する２×２画素ごとに１つの画素ブロックとし、前記高フレームレート撮像は、前記画素ブロックの４画素の光電変換部に蓄積された全ての電荷をビニングしてフレームごとに読み出し、前記高解像度撮像は、前記画素ブロックの一つの画素の光電変換部に蓄積された電荷をフレームごとに順に読み出すことを特徴とする、撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記グローバル動き検出部は、前記パン・チルト情報と前記焦点距離情報からアフィン変換行列を生成し、現在の撮像画像と該撮像画像を前記アフィン変換行列で逆アフィン変換した画像と比較することで、撮像画面の各位置における変位量を求めて二値化し、グローバル動き信号を生成することを特徴とする、撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記ローカル動き検出部は、所定フレーム前の撮像画像を前記アフィン変換行列でアフィン変換した画像と、現在の撮像画像との差分信号を求めて二値化し、ローカル動き信号を生成することを特徴とする、撮像装置。
【請求項５】
請求項１に記載の撮像装置において、
前記フィードバック信号は、４フレームごとに更新することを特徴とする、撮像装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、映像信号を取得する撮像装置に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
近年の撮像装置の高解像度（多画素）化に対応するため、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子が広く使用されている。ＣＭＯＳ撮像素子の高速画素信号読出回路には、画素アレイの列ごとにＡＤＣ（アナログ／デジタル変換器）を設ける列並列ＡＤＣが一般に用いられている（例えば、特許文献１)。
【０００３】
ＣＭＯＳ撮像素子の出力データレート（画素数×フレームレート）は画素信号読出に用いるＡＤＣ回路の信号読出速度に制限される。そのため、高解像度・高フレームレート撮像素子の実現にはＡＤＣ回路の高速化が求められる。例えば、列並列ＡＤＣを用いた８Ｋ／２４０ｆｐｓ撮像素子の１行あたり信号読出期間Ｔ
H
は１μｓ以下である。さらに、デジタルＣＤＳ（相関二重サンプリング）による固定パターンノイズ除去を行う場合、一回の読出動作に対して画素のリセットレベルと信号レベルの両方のＡＤ変換を行う必要があるため、０．５μｓ以下での高速ＡＤ変換が必要である。
【０００４】
しかしながら、ＡＤＣの動作速度はノイズ性能・ビット深度・消費電力・ＡＤＣ面積等の性能とトレードオフの関係にある。そのため、各種撮像性能を維持しながら、撮像素子のデータレートを増大させることは困難である。
【０００５】
この課題に対し、限られたＡＤ変換速度で実質的な画質向上を図る撮影手法として、従来、撮像素子にフレームレートや解像度などの特定の撮像性能に特化した動作モードを複数備え、撮影シーンの特徴に合わせて最適な動作モードを選択する手法が提案されている（特許文献２)。例えば、動きの速い被写体を撮像する場合は高フレームレート／低解像度モード、高精細で動きの少ない被写体を撮像する場合は低フレームレート／高解像度モードで撮影するといった撮影シーンに適応したモード選択をすることで、実質的な画質向上を図るものである。
【先行技術文献】
【特許文献】
【０００６】
特開２０２０－１８８３６０号公報
特開２０２０－１４１４０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来のモード選択は、撮像素子（撮像領域）全体を特定の撮像性能に特化した動作モードとするものであった。モード選択機能を撮像素子に設けたとしても、一般の撮影シーンにおいては、同一撮像画面の中に複数の異なる特徴を持つ被写体が同時に映り込むことが想定される。特に３６０°映像などの広視野撮像を行う場合、同時に複数の特徴を持つ撮影シーンが混在することが想定されるため、この影響は顕著になる。このとき、例えば、画面内の移動速度の速い被写体に合わせて高フレームレートモードでの撮像を選択すると、同一画面内に同時に映り込む静止した高精細な被写体の精細度が低下してしまう。反対に、画面内の高精細な被写体に合わせて高解像度モードでの撮像を選択すると、移動速度の速い被写体がぼやけ、動きをとらえることができない。すなわち、撮像画面の場所ごとに最適な動作モードが異なるという問題が生じる。
【０００８】
したがって、上記のような問題点に鑑みてなされた本発明の目的は、撮像領域ごとに高フレームレート撮像もしくは高解像度撮像のいずれの動作モードが適しているかを自動判定し、局所的な高フレームレート撮像もしくは高解像度撮像を実現する撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために本発明に係る撮像装置は、
（１）フィードバック信号に応じて、高フレームレート撮像と高解像度撮像を複数の画素からなる画素ブロックごとに切り換える機能を有する撮像素子を備え、前記撮像素子の撮像画像、雲台のパン・チルト情報、及びレンズの焦点距離情報を出力する撮像部と、前記パン・チルト情報と前記焦点距離情報から前記撮像素子の撮像画面の動きを検出して、グローバル動き信号を出力するグローバル動き検出部と、前記撮像画像から被写体の動きを検出して、ローカル動き信号を出力するローカル動き検出部と、前記グローバル動き信号と前記ローカル動き信号から前記フィードバック信号を生成するＯＲ回路と、を備えることを特徴とする、撮像装置である。
【００１０】
（２）上記（１）の撮像装置は、更に、光電変換部を備えた画素を隣接する２×２画素ごとに１つの画素ブロックとし、前記高フレームレート撮像は、前記画素ブロックの４画素の光電変換部に蓄積された全ての電荷をビニングしてフレームごとに読み出し、前記高解像度撮像は、前記画素ブロックの一つの画素の光電変換部に蓄積された電荷をフレームごとに順に読み出すことが好ましい。
（【００１１】以降は省略されています）

関連特許