特許ウォッチ

公開番号2024125019
公報種別公開特許公報(A)
公開日2024-09-13
出願番号2023033073
出願日2023-03-03
発明の名称情報処理装置、情報処理方法、及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06N 3/04 20230101AFI20240906BHJP(計算;計数)
要約【課題】機械学習モデルによる情報処理をより高速に行う。
【解決手段】第1の処理層及び第2の処理層を有する機械学習モデルを用いた推論の処理を行う。第1の処理層による中間出力を格納する。第1の処理層には第1の入力が入力され、第1の入力に対応する第1の中間出力を出力し、第2の処理層には第1の中間出力と、第1の入力よりも以前の第2の入力に対応する第1の処理層からの第2の中間出力が入力され、推論結果を出力し、第1の中間出力を格納する。
【選択図】図6
特許請求の範囲【請求項１】
第１の処理層及び第２の処理層を有する機械学習モデルを用いた推論の処理を行う処理手段と、
前記第１の処理層による中間出力を格納する格納手段と、を備え、
前記処理手段において、
前記第１の処理層には第１の入力が入力され、前記第１の入力に対応する第１の中間出力を出力し、
前記第２の処理層には前記第１の中間出力と、前記第１の入力よりも以前の第２の入力に対応する第１の処理層からの第２の中間出力が入力され、推論結果を出力し、
前記格納手段は、前記第１の中間出力を格納する、
ことを特徴とする、情報処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記第２の処理層には、前記第１の中間出力と、前記第２の中間出力及び前記第２の入力よりも以前の第３の入力に対応する第１の処理層からの第３の中間出力が入力され、
前記第１の入力及び前記第２の入力の、前記第１の処理層に入力される第１の間隔と、前記第２の入力及び前記第３の入力の、前記第１の処理層に入力される第２の間隔とが等しいことを特徴とする、請求項１に記載の情報処理装置。
【請求項３】
前記第１の間隔及び前記第２の間隔を設定する第１の設定手段をさらに備えることを特徴とする、請求項２に記載の情報処理装置。
【請求項４】
前記第１の設定手段は、前記第１の間隔及び前記第２の間隔を、前記機械学習モデルに順次入力される画像データの単位フレーム分の間隔であることを特徴とする、請求項３に記載の情報処理装置。
【請求項５】
前記第２の処理層には、前記第１の中間出力と、前記第２の中間出力及び前記第２の入力よりも以前の第３の入力に対応する第１の処理層からの第３の中間出力が入力され、
前記第１の入力及び前記第２の入力の、前記第１の処理層に入力される第１の間隔と、前記第２の入力及び前記第３の入力の、前記第１の処理層に入力される第２の間隔とが異なることを特徴とする、請求項１に記載の情報処理装置。
【請求項６】
前記第１の間隔が、前記第２の間隔よりも短いことを特徴とする、請求項５に記載の情報処理装置。
【請求項７】
前記第２の処理層に入力される前記第２の中間出力の数を設定する第２の設定手段をさらに備えることを特徴とする、請求項１に記載の情報処理装置。
【請求項８】
前記機械学習モデルに入力される画像から、所定の被写体を検出する検出手段をさらに備え、
前記第２の設定手段は、前記所定の被写体が検出された場合に、前記第２の処理層に入力される前記第２の中間出力の数を、前記所定の被写体が検出されていない場合よりも増加させることを特徴とする、請求項７に記載の情報処理装置。
【請求項９】
前記推論における処理負荷を評価する評価手段をさらに備え、
前記処理負荷の評価が所定の状態となった場合に、前記第２の処理層に入力される前記第２の中間出力の数を変化させることを特徴とする、請求項７に記載の情報処理装置。
【請求項１０】
前記機械学習モデルは、前記第１の処理層の前に第３の処理層をさらに有し、
前記処理手段は、前記第３の処理層に、前記第１の入力と同数の入力である第３の入力を入力することで、前記第１の入力を出力することを特徴とする、請求項１に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
近年、機械学習が様々な情報処理アプリケーションプログラムに応用されている。機械学習を利用する情報処理としては、例えば劣化画像を復元するノイズ除去処理、画像の解像度を増加させ高周波成分を増強することで視認性を向上させる超解像処理、又は撮像したＲＡＷ画像を現像するＤｅｂａｙｅｒ処理などが挙げられる。
【０００３】
機械学習モデルには、ネットワーク構造が多段階になっているモデルが存在する。特許文献１及び非特許文献１には、第１のノイズ除去部と第２のノイズ除去部の二段階構成のモデルで動画のノイズ除去を行う方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
米国特許第１１１５１６９４号
【非特許文献】
【０００５】
“ＦａｓｔＤＶＤｎｅｔ：ＴｏｗａｒｄｓＲｅａｌ－ＴｉｍｅＤｅｅｐＶｉｄｅｏＤｅｎｏｉｓｉｎｇＷｉｔｈｏｕｔＦｌｏｗＥｓｔｉｍａｔｉｏｎ”，Ｍａｔｉａｓ, Ｔａｓｓａｎｏ；Ｊｕｌｉｅ, Ｄｅｌｏｎ；Ｔｈｏｍａｓ, Ｖｅｉｔ，ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥ/ＣＶＦＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）, ２０２０, ｐｐ. １３５４－１３６３
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１及び非特許文献１においては、動画の時系列複数フレームが入力とされノイズ除去が行われる。この時、入力複数フレームの内の一部を組として第一のノイズ除去処理が行われ、その結果を入力として第二のノイズ除去処理が行われる。例えば、入力フレーム５つについて、フレーム３つを１組の計３組として第一のノイズ除去処理が３回行われ、その結果である中間出力３個を入力とした第二のノイズ除去処理が行われる。しかしながら、特許文献１及び非特許文献１に記載の技術では、順次入力される次の入力フレーム５つに対して同様の処理を行うと、入力フレームの２組分、前回と同一の第１のノイズ処理を行うことになってしまう。
【０００７】
本発明は、機械学習モデルによる情報処理をより高速に行うことを目的とする。
【課題を解決するための手段】
【０００８】
本発明の目的を達成するために、例えば、一実施形態に係る情報処理装置は以下の構成を備える。すなわち、第１の処理層及び第２の処理層を有する機械学習モデルを用いた推論の処理を行う処理手段と、前記第１の処理層による中間出力を格納する格納手段と、を備え、前記処理手段において、前記第１の処理層には第１の入力が入力され、前記第１の入力に対応する第１の中間出力を出力し、前記第２の処理層には前記第１の中間出力及び前記第１の入力よりも以前の第２の入力に対応する第１の処理層からの第２の中間出力が入力され、推論結果を出力し、前記格納手段は、前記第１の中間出力を格納する。
【発明の効果】
【０００９】
機械学習モデルによる情報処理をより高速に行う。
【図面の簡単な説明】
【００１０】
実施形態１に係る情報処理システムの構成の一例を示すブロック図。
実施形態１に係る情報処理装置の機能構成の一例を示すブロック図。
実施形態１に係る情報処理装置における学習処理を説明するための図。
実施形態１に係る情報処理装置が用いるモデルの構成の一例を示す図。
実施形態１に係る劣化付与処理について説明するための図。
実施形態１に係るモデルのネットワーク構造の一例を示す図。
実施形態１に係る学習処理の一例を示すフローチャート。
実施形態１に係る復元処理の一例を示すフローチャート。
実施形態１に係るモデルの切り換え処理の一例を示すフローチャート。
実施形態２に係るモデルにおける入出力の一例を示すブロック図。
実施形態２に係るモデルにおける入出力の一例を示すブロック図。
実施形態２に係るモデルにおける入出力の一例を示すブロック図。
実施形態３に係る前処理を行うモデルのネットワーク構造の一例を示す図。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許