特許ウォッチ

公開番号2025087496
公報種別公開特許公報(A)
公開日2025-06-10
出願番号2023202195
出願日2023-11-29
発明の名称情報処理装置、情報処理方法およびプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 5/60 20240101AFI20250603BHJP(計算;計数)
要約【課題】N枚に満たない画像しか存在しないときに画像の劣化の復元処理を行うことができない。
【解決手段】情報処理装置は、入力画像を取得する入力手段と、前記入力画像を加工して加工画像を生成する加工手段と、前記入力画像及び前記加工画像に基づいて前記入力画像の劣化を復元した復元画像を生成する復元手段と、を備え、前記加工手段は、前記入力画像及び前記加工画像の枚数が前記復元に必要な枚数になるまで、前記入力画像及び前記加工画像のいずれかを加工して前記加工画像を生成することを特徴とする。
【選択図】図4
特許請求の範囲【請求項１】
入力画像を取得する入力手段と、
前記入力画像を加工して加工画像を生成する加工手段と、
前記入力画像及び前記加工画像に基づいて前記入力画像の劣化を復元した復元画像を生成する復元手段と、
を備え、
前記加工手段は、前記入力画像及び前記加工画像の枚数が前記復元に必要な枚数になるまで、前記入力画像及び前記加工画像のいずれかを加工して前記加工画像を生成する
ことを特徴とする情報処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記加工手段は、前記入力画像と異なる前記加工画像を生成する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記加工手段は、前記入力画像の画素の平行移動、前記入力画像の画素の回転移動、前記入力画像の拡大、及び、前記入力画像の縮小の少なくともいずれかによって前記入力画像を加工する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記加工手段は、前記入力画像の全ての画素の位置を移動させて前記加工画像を生成する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記加工手段は、前記劣化を復元するためのパラメタに基づいて設定された加工量によって前記加工画像を生成する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記加工手段は、前記入力画像から複数の加工画像を生成する場合、１回の加工に用いる加工量を積算して生成した互いに異なる複数の加工量に基づいて前記複数の加工画像を生成する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記加工手段は、前記劣化の復元に用いられる前記入力画像及び前記加工画像の縮小率、前記入力画像及び前記加工画像のプーリング時のダウンサンプリング率、前記入力画像及び前記加工画像のプーリングの回数のいずれかに基づいて設定された加工量によって前記加工画像を生成する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記加工手段は、前記入力画像が複数の時系列画像である場合、生成した前記加工画像を前記入力画像よりも過去の画像として生成する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記加工手段は、異なる加工量に基づいて時系列の複数の加工画像を生成する場合、前記加工量が大きい前記加工画像ほど過去の前記加工画像として生成する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
前記復元手段は、前記加工画像を用いて前記劣化を復元する場合、前記復元画像に対して先鋭化処理を実行する
ことを特徴とする請求項１に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法およびプログラムに関するものである。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
カメラで撮像された画像及び動画の１フレームの画像の劣化を復元する方法が知られている。動画の劣化を復元する場合、時間的一貫性が知覚的な品質において重要な要素となる。そのため、時系列的に隣接する画像の情報を利用する必要がある。
【０００３】
一般に、情報処理装置が、動画の劣化を復元する際、時系列的に連続する複数枚の画像を取得し、１枚の画像の劣化を復元した復元画像を出力する。非特許文献１には、時系列的に連続するＮ（Ｎは自然数）枚の画像に対し、それぞれ空間方向のノイズ低減を行い、それらの結果を位置合わせした後に時間方向のノイズ低減処理を行い、Ｎ枚のうち中央の１枚のノイズ低減結果を出力する方法が開示されている。また、非特許文献２には、位置合わせを行うための動き補償の仕組みをディープニューラルネットワーク（ＤｅｅｐＮｅｕｒａｌＮｅｔｗｏｒｋ：ＤＮＮ）に組み込むことで、非特許文献１の空間方向のノイズ低減後に行う位置合わせを省く方法が開示されている。
【先行技術文献】
【非特許文献】
【０００４】
ＭａｔｉｓＴａｓｓａｎｏ，ＪｕｌｉｅＤｅｌｏｎ，ＴｈｏｍａｓＶｅｉｔ，“ＤＶＤｎｅｔ：ＡＦａｓｔＮｅｔｗｏｒｋｆｏｒＤｅｅｐＶｉｄｅｏＤｅｎｏｉｓｉｎｇ”，２０１９ＩＥＥＥ／ＣＶＦＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）
ＭａｔｉｓＴａｓｓａｎｏ，ＪｕｌｉｅＤｅｌｏｎ，ＴｈｏｍａｓＶｅｉｔ，“ＦａｓｔＤＶＤｎｅｔ：ＴｏｗａｒｄｓＲｅａｌ－ＴｉｍｅＤｅｅｐＶｉｄｅｏＤｅｎｏｉｓｉｎｇＷｉｔｈｏｕｔＦｌｏｗＥｓｔｉｍａｔｉｏｎ”，２０２０ＩＥＥＥ／ＣＶＦＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、いずれの復元方法もＮ枚の画像を取得することが必要であり、動画撮影開始直後または動画再生直後において、Ｎ枚に満たない画像しか存在しないときに画像の劣化の復元処理を行うことができない。
【０００６】
本発明はこのような問題点に鑑みなされたもので、Ｎ枚（Ｎは２以上の整数）の画像を入力として劣化を復元した復元画像を出力する劣化復元処理において、Ｎ枚に満たない画像を取得した場合であっても復元画像を出力することを目的とする。
【課題を解決するための手段】
【０００７】
この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、
入力画像を取得する入力手段と、
前記入力画像を加工して加工画像を生成する加工手段と、
前記入力画像及び前記加工画像に基づいて前記入力画像の劣化を復元した復元画像を生成する復元手段と、
を備え、
前記加工手段は、前記入力画像及び前記加工画像の枚数が前記復元に必要な枚数になるまで、前記入力画像及び前記加工画像のいずれかを加工して前記加工画像を生成する
ことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、Ｎ枚（Ｎは２以上の整数）の画像を入力として復元画像を出力する劣化復元処理において、Ｎ枚に満たない画像を取得した場合でも復元画像を出力することができる。
【図面の簡単な説明】
【０００９】
第１実施形態に係る情報処理システムのハードウェア構成の一例を示す図。
第１実施形態に係る情報処理装置のソフトウェア構成を示す機能ブロック図。
ＣＮＮの構造を説明する図。
第１実施形態に係る情報処理装置の劣化復元処理のデータフローの一例を示すブロック図。
第１実施形態に係る情報処理装置の劣化復元処理の一例を示すフローチャート。
第２実施形態に係る情報処理装置の劣化復元処理の一例を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
（【００１１】以降は省略されています）

関連特許