特許ウォッチ

公開番号2025021895
公報種別公開特許公報(A)
公開日2025-02-14
出願番号2023125988
出願日2023-08-02
発明の名称信号処理装置、撮像システム及び信号処理方法
出願人日本放送協会
代理人個人,個人,個人,個人
主分類H04N 25/70 20230101AFI20250206BHJP(電気通信技術)
要約【課題】アーティファクトの発生を抑止する。
【解決手段】信号処理装置は、画素ごと又は共有画素構造ごとに画素値を取得可能なイメージセンサを用いて撮影された第1映像信号に含まれる連続するフレームを比較し、制御単位ごとに、動領域と静止領域とに判定する判定部と、動領域と静止領域とに応じて異なる処理によりフレーム画像を生成するフレーム画像生成部と、フレーム画像生成部により生成されたフレーム画像を用いて、第1映像信号よりフレームレートが高い第2映像信号を生成する映像信号生成部と、を備え、フレーム画像生成部は、1フレームの表示に要するフレーム期間を複数のサブフレーム期間に時分割し、動領域と判定された制御単位については、共有画素構造から取得された画素値をサブフレームごとの画素値とし、静止領域と判定された制御単位については、画素から取得された画素値をサブフレームごとの画素値とする。
【選択図】図1
特許請求の範囲【請求項１】
複数の画素を構成要素とする共有画素構造を複数有し、前記画素ごと又は前記共有画素構造ごとに画素値を取得可能なイメージセンサを用いて撮影された映像信号を処理する信号処理装置であって、
前記イメージセンサを用いて撮影された第１映像信号に含まれる連続するフレームを比較し、複数の画素を含む制御単位ごとに、画素値の変化が大きい領域である動領域と、画素値の変化が小さい領域である静止領域とに判定する判定部と、
前記動領域と前記静止領域とに応じて異なる処理によりフレーム画像を生成するフレーム画像生成部と、
前記フレーム画像生成部により生成されたフレーム画像を用いて、前記第１映像信号よりフレームレートが高い第２映像信号を生成する映像信号生成部と、
を備え、
前記フレーム画像生成部は、
１フレームの表示に要するフレーム期間を複数のサブフレーム期間に時分割し、
前記動領域と判定された前記制御単位については、前記共有画素構造から取得された画素値をサブフレームごとの画素値とし、
前記静止領域と判定された前記制御単位については、前記画素から取得された画素値をサブフレームごとの画素値とする
信号処理装置。
続きを表示（約 1,500 文字）【請求項２】
前記判定部は、前記静止領域について、画素値の変化がゼロである完全静止領域であるか、画素値の変化がゼロでないものの所定の閾値以下である準静止領域であるかを更に判定し、
前記フレーム画像生成部は、前記完全静止領域と前記準静止領域とに応じて異なる処理によりフレーム画像を生成する
請求項１に記載の信号処理装置。
【請求項３】
前記フレーム画像生成部は、前記完全静止領域と判定された前記制御単位については、サブフレームごとに異なる前記画素から取得された画素値を合成することによりフレーム画像を生成する
請求項２に記載の信号処理装置。
【請求項４】
前記フレーム画像生成部は、前記準静止領域と判定された前記制御単位については、サブフレームごとに異なる前記画素から取得された画素値と、取得された画素値に基づき補完を行った画素値とを合成することによりフレーム画像を生成する
請求項２に記載の信号処理装置。
【請求項５】
前記フレーム画像生成部は、前記準静止領域と判定された前記制御単位について、モザイク状に配置された前記画素から取得された画素値と、画素値が取得されなかった前記画素において補完された画素値とを合成することによりフレーム画像を生成する
請求項４に記載の信号処理装置。
【請求項６】
前記フレーム画像生成部は、前記準静止領域と判定された前記制御単位について、第１のサブフレームにおいては、モザイク状に配置された前記画素から取得された画素値と、画素値が取得されなかった前記画素において補完された画素値とを合成することによりフレーム画像を生成し、
第２のサブフレームにおいては、前記第１のサブフレームにおいて読み出されなかった前記画素の画素値であって、モザイク状に配置された前記画素から取得された画素値と、画素値が取得されなかった前記画素において補完された画素値とを合成することによりフレーム画像を生成する
請求項５に記載の信号処理装置。
【請求項７】
複数の画素を構成要素とする共有画素構造を複数有し、前記画素ごと又は前記共有画素構造ごとに画素値を取得可能なイメージセンサと、
前記イメージセンサを用いて撮影された映像信号を処理する請求項１から請求項６のいずれか一項に記載の信号処理装置と
を備える撮像システム。
【請求項８】
複数の画素を構成要素とする共有画素構造を複数有し、前記画素ごと又は前記共有画素構造ごとに画素値を取得可能なイメージセンサを用いて撮影された映像信号を処理する信号処理方法であって、
前記イメージセンサを用いて撮影された第１映像信号に含まれる連続するフレームを比較し、複数の画素を含む制御単位ごとに、画素値の変化が大きい領域である動領域と、画素値の変化が小さい領域である静止領域とに判定する判定工程と、
前記動領域と前記静止領域とに応じて異なる処理によりフレーム画像を生成するフレーム画像生成工程と、
前記フレーム画像生成工程により生成されたフレーム画像を用いて、前記第１映像信号よりフレームレートが高い第２映像信号を生成する映像信号生成工程と、
を有し、
前記フレーム画像生成工程は、
１フレームの表示に要するフレーム期間を複数のサブフレーム期間に時分割し、
前記動領域と判定された前記制御単位については、前記共有画素構造から取得された画素値をサブフレームごとの画素値とし、
前記静止領域と判定された前記制御単位については、前記画素から取得された画素値をサブフレームごとの画素値とする
信号処理方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、信号処理装置、撮像システム及び信号処理方法に関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
従来、撮像素子は、撮像レンズによって結像された光を、二次元平面状に整列したフォトダイードを用いて光電変換し、フォトダイオードに蓄積された光誘起電荷を読み出して光の強度の２次元空間分布を画像として取得する機能を持つ半導体チップである。また、動画像取得用の撮像素子は、画素に蓄積された電荷を周期的に読み出し、連続するフレーム画像を撮像することにより、動画像を撮影する。
【０００３】
動画像の撮影では、一般的に水平方向の画素数をＨ、垂直方向の画素数をＶ、画像を読み出す周期であるフレームレートをＦ［ｆｐｓ（ｆｒａｍｅｓｐｅｒｓｅｃｏｎｄ）］とすると、１秒間に読み出す画素数である“画素読み出しレート”は、Ｈ×Ｖ×Ｆ［ｐｉｘｅｌ／ｓｅｃ］の乗算結果により得られる。この“画素読み出しレート”の値が、消費電力、Ａ／Ｄ変換回路の性能、さらには、出力データレート等に大きな影響を与える。撮像素子の分野では、微細製造プロセスや三次元積層技術などの先端半導体製造技術の導入に加え、回路技術やチップ上の信号処理を改善して性能向上が図られているが、それらによっても画素読み出しレートを高めることは容易ではない。
【０００４】
一般的な動画像取得方式では、撮像素子の構造から取得される動画像の空間解像度（水平および垂直方向の画素数）および時間解像度（フレームレート）は、何れも撮影中は一定となるように設定されているが、動画像の性質に鑑みれば、必ずしも一定である必要はない。すなわち、静止している物体を撮影する場合にはフレームレートを高く維持する必要は無く、低いフレームレートで撮影した場合でも、主観的画質の低下を抑制することが可能である。他方、動いている物体を撮影する場合には、動きぼやけにより空間周波数が低下したものとなっているため、空間解像度を高く維持する必要は無く、低い空間解像度で撮影した場合でも、主観画質の低下を抑制することが可能である。
【０００５】
上述した動画像の性質に鑑みると、撮影される物体が静止している場合には空間解像度を高くかつフレームレートを低くし、物体が動いている場合には、空間解像度を低く、かつフレームレートを高くするように撮影ことが可能な撮像素子は、空間解像度とフレームレートを共に高く撮影する撮像素子に比較して、画素読み出しレートを低く抑えながら、主観的画質の低下を抑えることが可能である。また、一般的に、撮影される画面中には、動きの速さが異なる様々な物体が含まれていることから、高空間解像度かつ低フレームレートで撮影される領域（静止領域）と、低空間解像度かる高フレームレートで撮影される領域（動領域）が、互いに組み合わせられて画面が構成されることが望ましい。
【０００６】
このような撮影の実現に向けた技術として、特許文献１に記載されている画素並列構造を用いた撮像素子が知られている。この撮像素子は、三次元積層構造を利用して１画素に対して１個のＡ／Ｄ変換回路を画素と同一面積で形成する構造を備えている。このような構造では、各画素に独立して読み出し動作を行うことができることから、空間解像度とフレームレートの制御を実現することが可能である。
【先行技術文献】
【特許文献】
【０００７】
国際公開第ＷＯ２０１６／００９８３２号
特開２０２２－１２３５３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述した特許文献１に記載された技術においては、画素をＡ／Ｄ変換回路の面積より小さくすることが困難であるため、画素（フォトダイオード：ＰＤ）の小型化に限界がある。そこで、小型化を実現するために、１画素あたりのトランジスタ数を抑えることが考えられる。１画素あたりのトランジスタ数を抑えるため、複数の画素が１つのフローティングディフュージョンＦＤ、増幅トランジスタＳＦ、選択トランジスタＳＬを共有する共有画素構造を採用することによって、１画素あたりのトランジスタの数を抑えることが一般的となっている。例えば、共有画素構造１つあたりに追加するトランジスタを１個に抑制して小型化を図りつつ、空間解像度と時間解像度の２つの要素をより細かく制御し得る構造を備えた撮像素子が提案されている。このような技術を開示した文献として、特許文献２を例示することができる。
【０００９】
特許文献２に記載されているような共有画素構造を採用する場合、任意の制御単位ごとに高空間解像かつ低フレームレートでビニングを行わないモード（以下、標準モードと記載する。）と、低空間解像度かつ高フレームレートでビニングを行うモード（以下、高速モードと記載する。）のいずれかを選択して、撮影可能である。標準モードの１フレーム期間をＴとすると、高速モードでは、４画素分の電荷を共通ＦＤから同時に読み出すため、Ｔ／４（サブフレーム期間）の時間周期で読み出しが可能であり、低解像度ではあるが４倍のフレームレートで撮影することが可能となる。
【００１０】
一方、標準モードの場合、１画素あたりのトランジスタの数を抑制するために、信号値の読み出しライン及び、ＦＤが、１つの共有画素構造あたり１つとなっており、第１画素ＰＤ１、第２画素ＰＤ２、第３画素ＰＤ３、及び第４画素ＰＤ４で互いに共通となる。Ｔ／４の期間で読み出し可能な信号値は、第１画素ＰＤ１、第２画素ＰＤ２、第３画素ＰＤ３、及び第４画素ＰＤ４のうち、いずれか１つのＰＤに限定される。したがって、Ｔ／４の期間に１つずつ読み出していき、期間Ｔの期間に、すべての画素ＰＤからの信号値の読み出しを行う。
（【００１１】以降は省略されています）

関連特許