特許ウォッチ

公開番号2025032850
公報種別公開特許公報(A)
公開日2025-03-12
出願番号2023138340
出願日2023-08-28
発明の名称情報処理装置及びプログラム
出願人キヤノン株式会社
代理人個人
主分類G06T 7/00 20170101AFI20250305BHJP(計算;計数)
要約【課題】多様なサイズの画像のデータが対象となり得る状況下においても、当該画像に対する推論をより好適な態様で実現する。
【解決手段】設定部121は、入力画像中に、機械学習に基づき構築されたモデルによる推論の対象となるROIを設定する。モデル決定部113は、入力画像中に設定された上記ROIのサイズに応じて、入力データに対する推論を実行可能な状態とするための初期化が施された互いに入力データのサイズが異なる複数のモデルから、上記入力画像を入力データとする推論に適用するモデルを決定する。
【選択図】図2
特許請求の範囲【請求項１】
入力画像中に、機械学習に基づき構築されたモデルによる推論の対象となる推論対象領域を設定する設定手段と、
前記設定手段により設定された前記推論対象領域のサイズに応じて、入力データに対する推論を実行可能な状態とするための初期化が施された互いに入力データのサイズが異なる複数のモデルから、前記入力画像を入力データとする推論に適用するモデルを決定する決定手段と、
を有することを特徴とする、情報処理装置。
続きを表示（約 1,200 文字）【請求項２】
前記決定手段は、前記複数のモデルのうちの、前記設定手段により設定された前記推論対象領域よりも入力データのサイズが大きい一連のモデルのうち、当該入力データのサイズがより小さいモデルを、前記入力画像を入力データとする推論に適用するモデルとして決定することを特徴とする、請求項１に記載の情報処理装置。
【請求項３】
前記推論対象領域のサイズが変更された場合に、前記入力画像を入力データとする推論に適用するモデルを、前記決定手段により当該サイズに応じて決定されたモデルに切り替える切り替え手段を有することを特徴とする、請求項１に記載の情報処理装置。
【請求項４】
前記切り替え手段は、モデルの切り替えを制限する設定がなされている場合には、前記推論対象領域のサイズが変更されたとしても、前記入力画像を入力データとする推論に適用するモデルの切り替えを抑制することを特徴とする、請求項３に記載の情報処理装置。
【請求項５】
前記モデルは、対象となる画像に対して、当該画像に顕在化した劣化を復元する画像処理を施すモデルであることを特徴とする、請求項１に記載の情報処理装置。
【請求項６】
前記劣化は、ノイズ、圧縮、低解像、ボケ、収差、欠損、及びコントラスト低下のうちの少なくともいずれかを含むことを特徴とする、請求項５に記載の情報処理装置。
【請求項７】
初期化が施された前記複数のモデルは、従前に実行された推論の結果を入力として使用するリカレント構成のモデルを含むことを特徴とする、請求項１に記載の情報処理装置。
【請求項８】
前記推論対象領域のサイズが変更されたことに伴い、前記入力画像を入力データとする推論に適用するモデルが、前記リカレント構成のモデルに切り替えられる場合に、切り替え前のモデルと、切り替え後のモデルと、のそれぞれにより並行して推論が行われ、当該切り替え後のモデルにより所定の回数の推論が行われた後に、モデルの切り替えが行われることを特徴とする、請求項７に記載の情報処理装置。
【請求項９】
前記入力画像を入力データとする推論に適用するモデルの切り替えに際して、前記切り替え前のモデルと、前記切り替え後のモデルと、のそれぞれにより並行して推論が行われる期間においては、推論に使用されるリソースの使用状況に応じて、当該推論に係る処理のフレームレートが制限されることを特徴とする、請求項８に記載の情報処理装置。
【請求項１０】
前記推論対象領域のサイズが変更されたことに伴い、前記入力画像を入力データとする推論に適用するモデルが、前記リカレント構成のモデルに切り替えられた場合に、切り替え後のモデルは、従前に切り替え前のモデルにより実行された推論の結果を入力として使用することを特徴とする、請求項７に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、情報処理装置及びプログラムに関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
近年では、機械学習に基づき構築された学習モデル（以下、単にモデルとも称する）が多様な画像処理や画像認識のアプリケーションプログラムに応用されている。モデルを利用した画像処理の一例としては、対象となる画像に顕在化したノイズ等の劣化の影響を低減する（ひいては除去する）ノイズ除去処理が挙げられる。また、モデルを利用した画像認識の一例としては、画像中に被写体として撮像された所望の物体を検出する物体検出処理が挙げられる。
上記のようなモデルには、入力として受け付け可能な画像データのサイズが異なるものもある。このような背景から、特許文献１では、対象となる画像データのサイズを物体検出モデルが入力として受け付け可能な画像データのサイズに変更してから入力する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－７１７５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方で、特許文献１に開示された技術のように、入力となる画像データのサイズの変更が行われる状況下では、画像の特性（例えば、画像に顕在化したノイズの特性）が変化し、モデルを利用した画像処理の精度（例えば、ノイズ除去精度）が低下する場合がある。このような課題に対して、対象となる画像データを入力として受け付け可能なモデルを適用する方法も考えられる。しかしながら、モデルが画像データに対する推論（例えば、ノイズ除去等の画像処理）を実行可能な状態とするための初期化には時間を要する場合もあり、この初期化に係る時間が待ち時間として顕在化するような状況が想定され得る。
【０００５】
本発明は上記の問題を鑑み、多様なサイズの画像のデータが対象となり得る状況下においても、当該画像に対する推論をより好適な態様で実現する。
【課題を解決するための手段】
【０００６】
本発明に係る情報処理装置は、入力画像中に、機械学習に基づき構築されたモデルによる推論の対象となる推論対象領域を設定する設定手段と、前記設定手段により設定された前記推論対象領域のサイズに応じて、入力データに対する推論を実行可能な状態とするための初期化が施された互いに入力データのサイズが異なる複数のモデルから、前記入力画像を入力データとする推論に適用するモデルを決定する決定手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、多様なサイズの画像のデータが対象となり得る状況下においても、当該画像に対する推論をより好適な態様で実現することが可能となる。
【図面の簡単な説明】
【０００８】
画像処理システムのシステム構成の一例を示した図である。
画像処理システムの機能構成の一例を示した図である。
画像処理システムの処理の流れの一例を示した図である。
モデルの構造の一例を示した図である。
画像に対する劣化付与の処理の一例を示した図である。
画像を入力とした推論処理の概要を示した図である。
モデルの決定方法の一例を示した図である。
画像処理システムの処理の一例を示したフローチャートである。
画像処理システムの機能構成の一例を示した図である。
画像処理システムの設定画面の一例を示した図である。
ＲＯＩの自動設定に係る処理の一例を示した図である。
画像処理システムの処理の一例を示したフローチャートである。
モデルのネットワーク構造の一例を示した図である。
画像処理システムの設定画面の一例を示した図である。
画像処理システムの処理の一例を示したフローチャートである。
ＲＯＩの自動設定に係る処理の一例を示した図である。
画像処理システムの設定画面の一例を示した図である。
画像処理システムの処理の一例を示したフローチャートである。
画像処理システムの設定画面の一例を示した図である。
画像処理システムの処理の一例を示したフローチャートである。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１０】
＜ＣＮＮについて＞
まず、本開示の各実施形態に係る情報処理装置を含め、深層学習を応用した情報処理技術全般で用いられている畳み込みニューラルネットワーク（ＣＮＮ：ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）について概要を説明する。ＣＮＮは、学習（ｔｒａｉｎｉｎｇまたはｌｅａｒｎｉｎｇ）により生成されたフィルタを画像データに対して畳み込んだ（ｃｏｎｖｏｌｕｔｉｏｎ）後に非線形演算を施すことを繰り返す技術である。画像データに対してフィルタを畳み込んだ後に非線形演算を施すことで得られるデータは、特徴マップ（ｆｅａｔｕｒｅｍａｐ）とも称される。また、学習は、入力画像データと出力画像データとのペアからなる学習データ（ｔｒａｉｎｉｎｇｉｍａｇｅｓまたはｄａｔａｓｅｔｓ）を用いて行われる。簡単には、入力画像データから対応する出力画像データへ高精度に変換可能なフィルタの値を、学習データから生成することが学習である。
（【００１１】以降は省略されています）

関連特許