特許ウォッチ

公開番号2025030860
公報種別公開特許公報(A)
公開日2025-03-07
出願番号2023136529
出願日2023-08-24
発明の名称画像処理装置、画像処理方法
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06V 10/30 20220101AFI20250228BHJP(計算;計数)
要約【課題】複数のフレームを用いたノイズリダクションにおいて、複数のフレームにわたって同じ画像と判断されたフレームが入力された場合でも、ノイズリダクションの効果の低下や、該効果の振幅による視認性低下を抑制するための技術を提供すること。
【解決手段】画像処理装置は、順次入力されるフレームにおいて、該フレームが該フレームよりも前に入力された前フレームと同じ画像であるか否かの判断結果に応じて複数のフレームを取得し、該取得した複数のフレームに基づいてノイズリダクションを行う。そして画像処理装置は、該ノイズリダクションの結果を出力する。
【選択図】図3
特許請求の範囲【請求項１】
順次入力されるフレームにおいて、該フレームが該フレームよりも前に入力された前フレームと同じ画像であるか否かの判断結果に応じて複数のフレームを取得し、該取得した複数のフレームに基づいてノイズリダクションを行う処理手段と、
前記処理手段によるノイズリダクションの結果を出力する出力手段と
を備えることを特徴とする画像処理装置。
続きを表示（約 1,400 文字）【請求項２】
前記処理手段は、順次入力されるフレームにおいて、該フレームが該フレームよりも前に入力された前フレームと異なる画像であると判断された場合には、該フレームをバッファリングし、バッファリング済みフレームが規定フレーム数に達した場合には、該バッファリング済みフレームに基づいてノイズリダクションを行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記出力手段は、前記フレームが前記前フレームと異なる画像であると判断され、前記バッファリング済みフレームが規定フレーム数に達していない場合には、前回のノイズリダクションの結果を出力することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記出力手段は、前記フレームが前記前フレームと同じ画像である場合には、前回のノイズリダクションの結果を出力することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記処理手段は、順次入力されるフレームにおいて、該フレームが該フレームよりも前に入力された前フレームと同じ画像であると判断されると、該判断以降に入力されたフレームの数が規定フレーム数以下の場合は、該入力されたフレームおよびバッファリング済みフレームに基づいてノイズリダクションを行うことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記処理手段は、順次入力されるフレームにおいて、該フレームが該フレームよりも前に入力された前フレームと同じ画像であると判断され、該判断以降に入力されたフレームの数が規定フレーム数を超え、該入力されたフレームと最近のバッファリング済みフレームとが異なる画像であると判断されると、該入力されたフレームおよびバッファリング済みフレームに基づいてノイズリダクションを行うことを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記処理手段は、順次入力されるフレームにおいて、該フレームが該フレームよりも前に入力された前フレームと同じ画像であると判断され、該判断以降に入力されたフレームの数が規定フレーム数を超え、該入力されたフレームと最近のバッファリング済みフレームとが同じ画像であると判断されると、前回のノイズリダクションの結果を出力することを特徴とする請求項２に記載の画像処理装置。
【請求項８】
さらに、
撮像手段を備え、
前記順次入力されるフレームは前記撮像手段によって撮像されたフレームであることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
画像処理装置が行う画像処理方法であって、
前記画像処理装置の処理手段が、順次入力されるフレームにおいて、該フレームが該フレームよりも前に入力された前フレームと同じ画像であるか否かの判断結果に応じて複数のフレームを取得し、該取得した複数のフレームに基づいてノイズリダクションを行う処理工程と、
前記画像処理装置の出力手段が、前記処理工程によるノイズリダクションの結果を出力する出力工程と
を備えることを特徴とする画像処理方法。
【請求項１０】
コンピュータを、請求項１ないし７の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、ノイズリダクション技術に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
一般的に、カメラなどの撮影装置によって取得した映像には様々なノイズが混入し、映像の視認性が低下する。そのため、画像処理によりノイズを低減する処理（以下、ノイズリダクションと呼び、ＮＲと略す）が必須となる。このＮＲにおいて、動画映像などの順次フレーム（映像）が入力される場合に、複数のフレームを利用した手法がある。例えば、近年では、深層学習を用いて複数のフレームを入力してＮＲを行う処理がある（特許文献１）。
【０００３】
また、入力フレームとＮＲ結果を巡回係数に基づき合成する巡回型ＮＲ手法において、入力フレームと前フレームが同一かどうかを判定した上で、入力フレームとＮＲ結果の合成比率（以下、巡回係数という）を変化させてＮＲを行う手法がある（特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
特開２０２３－３５９２８号公報
特開２０１０－２２６６４６号広報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
監視カメラなどの分野においては、非常に暗いシーンを撮影するために映像のフレームレートよりも長い露光時間で撮影する機能（以下、スローシャッタと呼ぶ）がある。このスローシャッタで撮影された映像では、出力時のフレームレートを維持するため、複数のフレームにわたって同じフレームが出力される。例えば、フレームレート３０ｆｐｓにおいて、１／３秒のシャッタスピードの場合、１０フレームにわたって同じフレームが出力される。特許文献１のような複数のフレームを入力とするＮＲにおいて、このようなスローシャッタで撮影された映像を提要する場合、全く同じフレームが入力されることになる。その結果、参照するフレーム内にある異なるフレームの数によってＮＲ効果が変化し、異なるフレームの数が減るとＮＲ効果が低下する。例えば、図１０に示す如く、Ｉ１，Ｉ２，Ｉ３の３フレームを参照する場合、スローシャッタのフレームが順次入力されると、３フレームが同一、または、２フレームが同一の映像がＮＲにおける入力となる。その結果、３フレームが異なる場合に比べてＮＲ効果が低下し、さらにＮＲ効果が振幅することで視認性の低下を引き起こす。また、特許文献２の手法では、２フレームが同一かどうかを判定し、同一の場合には前のＮＲ結果を出力し、異なる場合には前のＮＲ結果と入力フレームを巡回係数で合成することによりノイズ低減することができる。しかし、この手法の場合には、３フレーム以上の入力を用いてＮＲを行うことができない。
【０００６】
本発明は、複数のフレームを用いたノイズリダクションにおいて、複数のフレームにわたって同じ画像と判断されたフレームが入力された場合でも、ノイズリダクションの効果の低下や、該効果の振幅による視認性低下を抑制するための技術を提供する。
【課題を解決するための手段】
【０００７】
本発明の一様態は、順次入力されるフレームにおいて、該フレームが該フレームよりも前に入力された前フレームと同じ画像であるか否かの判断結果に応じて複数のフレームを取得し、該取得した複数のフレームに基づいてノイズリダクションを行う処理手段と、前記処理手段によるノイズリダクションの結果を出力する出力手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、複数のフレームを用いたノイズリダクションにおいて、複数のフレームにわたって同じ画像と判断されたフレームが入力された場合でも、ノイズリダクションの効果の低下や、該効果の振幅による視認性低下を抑制することができる。
【図面の簡単な説明】
【０００９】
システムの構成例を示す図。
画像処理装置１００のハードウェア構成例を示すブロック図。
画像処理部２０７の構成例を示すブロック図。
画像処理装置１００が行うノイズリダクションに係る処理のフローチャート。
差分画像の生成方法の変形例を説明するための図。
ステップＳ４０９における処理の一例を示す図。
画像処理部２０７の構成例を示すブロック図。
画像処理装置１００が行うノイズリダクションに係る処理のフローチャート。
動作の概要の一例を示す図。
技術の課題を説明するための図。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
（【００１１】以降は省略されています）

関連特許