特許ウォッチ

公開番号2024134427
公報種別公開特許公報(A)
公開日2024-10-03
出願番号2023044726
出願日2023-03-20
発明の名称情報処理装置および情報処理方法
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 5/70 20240101AFI20240926BHJP(計算;計数)
要約【課題】フレーム間の変動に起因する画質低下を抑制しつつ、動画のノイズを抑制可能な機械学習モデルを実現する情報処理装置および情報処理方法を提供すること。
【解決手段】情報処理装置は、動画のノイズを抑制する機械学習モデルに第1の学習用データセットを適用して第1の学習を行い、第1の学習が終了した機械学習モデルに第2の学習用データセットを適用して第2の学習を行う。機械学習モデルはノイズを抑制する対象フレームを含む複数のフレームの入力画像に対して、対象フレームに対する処理結果としての画像を出力する。第1の学習はノイズの抑制を目的とした学習であり、第2の学習は複数のフレーム間の変動に起因する画質低下の抑制を目的とした学習である。
【選択図】図3
特許請求の範囲【請求項１】
動画のノイズを抑制する機械学習モデルの学習を行う情報処理装置であって、
前記機械学習モデルに第１の学習用データセットを適用して第１の学習を行い、前記第１の学習が終了した前記機械学習モデルに第２の学習用データセットを適用して第２の学習を行う学習手段を有し、
前記機械学習モデルはノイズを抑制する対象フレームを含む複数のフレームの入力画像に対して、前記対象フレームに対する処理結果としての画像を出力するものであり、
前記第１の学習はノイズの抑制を目的とした学習であり、前記第２の学習は前記複数のフレーム間の変動に起因する画質低下の抑制を目的とした学習である、
ことを特徴とする情報処理装置。
続きを表示（約 1,300 文字）【請求項２】
前記学習手段は、前記第２の学習の初期学習率を前記第１の学習の初期学習率よりも小さくすることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第２の学習が前記複数のフレーム間の動きに起因する残像の抑制を目的とした学習であることを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記第１の学習用データセットおよび前記第２の学習用データセットを静止画に基づいて生成する生成手段をさらに有することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記第１の学習用データセットおよび前記第２の学習用データセットを生成する生成手段をさらに有し、
前記生成手段は、前記第１の学習で前記入力画像として用いる複数のフレーム間の動き量の最大値よりも、前記第２の学習で前記入力画像として用いる複数のフレーム間の動き量の最大値が大きくなるように前記第１の学習用データセットおよび前記第２の学習用データセットを生成することを特徴とする請求項３に記載の情報処理装置。
【請求項６】
前記第２の学習が前記複数のフレーム間の輝度の変化に起因する影響の抑制を目的とした学習であることを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記第１の学習用データセットおよび前記第２の学習用データセットを生成する生成手段をさらに有し、
前記生成手段は、前記第１の学習で前記入力画像として用いる複数のフレーム間の輝度の変動率よりも、前記第２の学習で前記入力画像として用いる複数のフレーム間の輝度の変動率が大きくなるように前記第１の学習用データセットおよび前記第２の学習用データセットを生成することを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記機械学習モデルがニューラルネットワークを用いることを特徴とする請求項１に記載の情報処理装置。
【請求項９】
請求項１から８のいずれか１項に記載の情報処理装置によって学習された機械学習モデルと、
前記機械学習モデルに動画を入力して、ノイズを抑制した前記動画を取得する取得手段と、
を有することを特徴とする画像処理装置。
【請求項１０】
情報処理装置が実行する情報処理方法であって、
動画のノイズを抑制する機械学習モデルに第１の学習用データセットを適用して第１の学習を行うことと、
前記第１の学習が終了した前記機械学習モデルに第２の学習用データセットを適用して第２の学習を行うことと、を有し、
前記機械学習モデルはノイズを抑制する対象フレームを含む複数のフレームの入力画像に対して、前記対象フレームに対する処理結果としての画像を出力するものであり、
前記第１の学習はノイズの抑制を目的とした学習であり、前記第２の学習は前記複数のフレーム間の変動に起因する画質低下の抑制を目的とした学習である、
ことを特徴とする情報処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は情報処理装置および情報処理方法に関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
近年、機械学習（より具体的には学習済みのニューラルネットワーク）を用いた画像処理が広く用いられている（特許文献１）。特許文献１では、画像を予測するニューラルネットワークを特定の順序で学習することにより、学習精度を向上させている。
【０００３】
具体的には、特許文献１では、動きの予測が容易な被写体の動きの大きな動画を最初に用いてニューラルネットワークを学習し、その後は被写体の動きがより小さな動画を用いてニューラルネットワークを学習している。
【先行技術文献】
【特許文献】
【０００４】
特開２０２１－１８９８５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ノイズを低減するためのニューラルネットワークを同様に学習すると、フレーム間の変動に起因する影響によって画質が低下しうるという課題があった。
【０００６】
このような従来技術の課題に鑑み、本発明はその一実施形態において、フレーム間の変動に起因する画質低下を抑制しつつ、動画のノイズを抑制可能な機械学習モデルを実現する情報処理装置および情報処理方法を提供する。
【課題を解決するための手段】
【０００７】
本発明はその一態様において、動画のノイズを抑制する機械学習モデルの学習を行う情報処理装置であって、機械学習モデルに第１の学習用データセットを適用して第１の学習を行い、第１の学習が終了した機械学習モデルに第２の学習用データセットを適用して第２の学習を行う学習手段を有し、機械学習モデルはノイズを抑制する対象フレームを含む複数のフレームの入力画像に対して、対象フレームに対する処理結果としての画像を出力するものであり、第１の学習はノイズの抑制を目的とした学習であり、第２の学習は複数のフレーム間の変動に起因する画質低下の抑制を目的とした学習である、ことを特徴とする情報処理装置を提供する。
【発明の効果】
【０００８】
本発明によれば、フレーム間の変動に起因する画質低下を抑制しつつ、動画のノイズを抑制可能な機械学習モデルを実現する情報処理装置および情報処理方法を提供することができる。
【図面の簡単な説明】
【０００９】
実施形態に係る情報処理装置のハードウェア構成例を示すブロック図
実施形態に係る情報処理装置の機能構成例を示すブロック図
実施形態に係る機械学習モデルの学習方法の概要に関するフローチャート
実施形態に係る機械学習モデルの学習方法の詳細に関するフローチャート
実施形態に係る機械学習モデルの入出力を模式的に示した図
第１実施形態における学習用データセットの生成方法に関する図
第１実施形態に係る第１および第２の学習を対比した図
第２実施形態における学習用データセットに関する図
【発明を実施するための形態】
【００１０】
●（第１実施形態）
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
（【００１１】以降は省略されています）

関連特許