特許ウォッチ

公開番号2025073769
公報種別公開特許公報(A)
公開日2025-05-13
出願番号2023184821
出願日2023-10-27
発明の名称画像処理装置
出願人キヤノン株式会社
代理人個人
主分類H04N 23/65 20230101AFI20250502BHJP(電気通信技術)
要約【課題】情報処理部が稼働状態であり、かつ、履歴情報が無効である場合に、適切な処理を行えるようにする。
【解決手段】情報処理部が稼働状態であり、かつ、履歴情報保持部に保持されている履歴情報が有効である場合には、情報処理部は、入力画像及び履歴情報保持部に保持されている履歴情報を用いて情報処理を実行し、情報処理済み画像を生成し、履歴情報保持部に保持されている履歴情報を更新し、出力部は、情報処理済み画像を出力し、情報処理部が稼働状態であり、かつ、履歴情報保持部に保持されている履歴情報が無効である場合には、情報処理部は、入力画像を基に履歴情報を再生成し、入力画像及び再生成された履歴情報を用いて情報処理を実行し、情報処理済み画像を生成し、履歴情報保持部に保持されている履歴情報を更新し、出力部は、情報処理済み画像を出力し、情報処理部が停止状態である場合には、出力部は、入力画像を出力する。
【選択図】図3
特許請求の範囲【請求項１】
情報処理部と、
出力部とを有し、
前記情報処理部が稼働状態であり、かつ、履歴情報保持部に保持されている履歴情報が有効である場合には、前記情報処理部は、入力画像及び前記履歴情報保持部に保持されている履歴情報を用いて情報処理を実行し、情報処理済み画像を生成し、前記履歴情報保持部に保持されている履歴情報を更新し、前記出力部は、前記情報処理済み画像を出力し、
前記情報処理部が稼働状態であり、かつ、履歴情報保持部に保持されている履歴情報が無効である場合には、前記情報処理部は、入力画像を基に履歴情報を再生成し、入力画像及び前記再生成された履歴情報を用いて情報処理を実行し、情報処理済み画像を生成し、前記履歴情報保持部に保持されている履歴情報を更新し、前記出力部は、前記情報処理済み画像を出力し、
前記情報処理部が停止状態である場合には、前記出力部は、入力画像を出力することを特徴とする画像処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記履歴情報保持部に履歴情報が保持されていない場合は、履歴情報が無効であると判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記履歴情報保持部に保持されている履歴情報が更新されなかった場合、履歴情報を削除することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記履歴情報保持部は、履歴情報の更新が必要か、又は履歴情報の更新が不要かの、いずれかを表す更新フラグを保持し、前記更新フラグを参照して、履歴情報の更新が必要な場合は履歴情報が無効であると判定し、履歴情報の更新が不要な場合は履歴情報が有効であると判定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記情報処理部が稼働状態であり、かつ、履歴情報保持部に保持されている履歴情報が無効である場合には、前記情報処理部の履歴情報の再生成に並行して、前記出力部は、入力画像を出力することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記情報処理部が停止状態である場合には、前記出力部の入力画像の出力に並行して、前記履歴情報保持部は、入力画像を基に履歴情報を再生成し、前記履歴情報保持部に保持されている履歴情報を更新することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記履歴情報保持部に保持されている履歴情報が有効である場合は、前記履歴情報保持部に保持されている履歴情報が閾値フレーム数未満前のフレームの履歴情報である場合であり、
前記履歴情報保持部に保持されている履歴情報が無効である場合は、前記履歴情報保持部に保持されている履歴情報が閾値フレーム数以上前のフレームの履歴情報である場合であることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記履歴情報は、前記情報処理部の情報処理済み画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記入力画像は、入力画像保持部に保持されていることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記入力画像保持部には、少なくとも前記情報処理部の履歴情報の再生成に必要な数の入力画像が保持されていることを特徴とする請求項９に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、画像処理装置、画像処理装置の処理方法及びプログラムに関する。
続きを表示（約 1,000 文字）【背景技術】
【０００２】
近年、カメラ等で撮影した画像を、ニューラルネットワークを用いて高画質化する装置が提案されている。ニューラルネットワークを用いることで、ノイズ低減や超解像等の高画質化処理を従来よりも高性能かつ高速に実行することが可能となる。
【０００３】
特に、動画の場合は、高画質化処理をリアルタイムで実行できる性能が求められている。動画のリアルタイム性能を実現する方法として、再帰的ニューラルネットワーク（ｒｅｃｕｒｒｅｎｔｎｅｗｒａｌｎｅｔｗｏｒｋ、以下ＲＮＮと称す）が広く用いられている。
【０００４】
ＲＮＮは、ＲＮＮからの出力結果、即ち履歴情報を再帰的にＲＮＮに入力する構造を特徴とする。この特徴により、単一のニューラルネットワークで任意の長さの時系列データに対する処理を行うことが可能となる。
【０００５】
また、ＲＮＮは、再帰的な構造を持つので、時系列分のニューラルネットワークを用意する必要がなくなり、ニューラルネットワークのサイズ低減が可能となる。これにより、処理の高速化、即ちリアルタイム処理が実現できる。
【０００６】
特許文献１には、ＲＮＮを用いることで、レイテンシーが小さくかつ低コストで実現できる画像処理装置が開示されている。
【０００７】
特許文献２には、処理が停止してから再開する際に、履歴生成処理にて得られた履歴を取り出し、取り出された履歴中の入力情報が未だに有効か無効かを判定し、無効であれば履歴中の入力情報を使わない装置が開示されている。
【先行技術文献】
【特許文献】
【０００８】
特開２０２１－１４９３３３号公報
特開２００６－３７４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ＲＮＮのようなニューラルネットワークは、高画質化のような複雑な処理を高性能かつ高速に実行できる一方で、演算量が多くなる傾向がある。演算量が多くなると、装置の消費電力も多くなる。
【００１０】
近年、車両、船舶、航空機、ドローン等の移動体に、カメラ等で撮影した画像を処理するためのエッジデバイスが搭載されている。このようなエッジデバイスは、バッテリーや発電機等の燃料を節約するため、省電力化が求められている。
（【００１１】以降は省略されています）

関連特許