特許ウォッチ

公開番号2024121635
公報種別公開特許公報(A)
公開日2024-09-06
出願番号2023028840
出願日2023-02-27
発明の名称情報処理装置、撮像装置、方法、及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06V 10/96 20220101AFI20240830BHJP(計算;計数)
要約【課題】本発明は、複数のタスクを複数のネットワークに割り当ててマルチタスク学習を実施する際に、好適なタスクの組み合わせを決定することを目的とする。
【解決手段】
それぞれ異なるタスクを実行する複数の学習済みモデルが、前記それぞれ異なるタスクに対応するそれぞれの評価データを推論した結果に基づいて、前記それぞれ異なるタスクの中から第1タスクを決定する。前記第1タスクを実行する第1学習済みモデルが、前記第1タスクに対応する第1評価データを誤って推論した第1推論結果に基づいて、前記第1タスクと組み合わせる第2タスクを決定する。

【選択図】図1
特許請求の範囲【請求項１】
それぞれ異なるタスクを実行する複数の学習済みモデルが、前記それぞれ異なるタスクに対応するそれぞれの評価データを推論した結果に基づいて、前記それぞれ異なるタスクの中から第１タスクを決定する決定手段を備え、
前記決定手段は、前記第１タスクを実行する第１学習済みモデルが、前記第１タスクに対応する第１評価データを誤って推論した第１推論結果に基づいて、前記第１タスクと組み合わせる第２タスクを決定する、
ことを特徴とする情報処理装置。
続きを表示（約 1,600 文字）【請求項２】
前記決定手段は、前記それぞれの評価データを推論した結果として、前記複数の学習済みモデルそれぞれの推論精度に基づいて、前記それぞれ異なるタスクの中から前記第１タスクを決定する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記決定手段は、前記第１推論結果と、前記第１タスク以外のタスクを実行する学習済みモデルのそれぞれが前記第１評価データを推論した結果とに基づいて、前記それぞれ異なるタスクの中から前記第２タスクを決定する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記それぞれ異なるタスクに対応する正解データを学習済みの分類モデルを用いて、前記第１推論結果が前記それぞれ異なるタスクのいずれに属するかを推定する推定手段をさらに備え、
前記決定手段は、前記推定手段の推定結果に基づいて、前記それぞれ異なるタスクの中から前記第２タスクを決定する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記第１推論結果に含まれる第１オブジェクトに類似するオブジェクトの画像を、前記それぞれ異なるタスクに対応する学習データから検索する検索手段をさらに備え、
前記決定手段は、前記検索手段の検索結果と前記検索結果に対応する正解データとに基づいて作成されたタスクを前記第２タスクとして決定する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記決定手段は、前記推定手段の推定結果に基づくタスクに対応する学習データの中から所定のサイズの前記タスクの第２オブジェクトを含む画像を抽出する抽出手段をさらに備え、
前記決定手段は、前記抽出手段の抽出結果と前記抽出結果に対応する正解データとに基づいて作成されたタスクを前記第２タスクとして決定する、
ことを特徴とする請求項４に記載の情報処理装置。
【請求項７】
前記第１タスクと前記第２タスクとに基づいて、前記第１学習済みモデルのネットワーク構造を変更し、前記第１タスクに対応する第１学習データに対して前記第２タスクに対応する第２学習データを追加する制御を行う制御手段と、
前記第１学習済みモデルのネットワーク構造と学習パラメータとを記憶する記憶手段と、をさらに備える、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記それぞれ異なるタスクに対応する学習データセットを用いて、前記複数の学習済みモデルを学習する学習手段と、
前記それぞれの評価データを推論した結果と、前記それぞれの評価データに対応する正解データとに基づいて、前記複数の学習済みモデルの推論精度を評価する評価手段と、をさらに備える、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記第１評価データと、前記第１学習済みモデルが前記第１評価データにおいて誤って推論した前記第１オブジェクトと正しく推論した正検出オブジェクトの少なくとも一方の検出枠と、前記第１オブジェクトと前記正検出オブジェクトの少なくとも一方の部分画像と、を保持する保持手段をさらに備え、
ことを特徴とする請求項５に記載の情報処理装置。
【請求項１０】
前記記憶手段の記憶結果に基づく前記複数の学習済みモデルに対して前記それぞれ異なるタスクに対応する評価データを入力する入力手段と、
前記複数の学習済みモデルが前記それぞれ異なるタスクに対応する評価データを推論した結果を出力する出力手段と、をさらに備える、
ことを特徴とする請求項７に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、撮像装置、方法、及びプログラムに関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
コンピュータ等の機械が画像及び音声などのデータの内容を学習して認識を行う技術が存在する。コンピュータの認識処理の目的を「認識タスク」と呼び、認識タスクを学習・実行するための数理モデルを「認識モデル」と呼ぶ。
【０００３】
認識タスクには、例えば、画像中から特定の物体（人物、動物、乗物等）を検出する物体検出タスクがある。また、意味的領域分割と呼ばれる画像の画素単位での物体検出を行う領域検出タスクが存在する。他にも、画像中にある物体（被写体）のカテゴリー（人間、動物、乗り物等）を判別する物体カテゴリー認識タスク、特定の被写体を探索して追尾する追尾タスク、シーンの種別（都市、山間、海岸等）を判別するシーン種別認識タスク等の多様な認識タスクがある。以下、認識タスクを「タスク」と呼ぶ。
【０００４】
上記のようなタスクを学習・実行するためのニューラルネットワーク（ＮＮ）が知られている。深い（層の数が多い）多層ニューラルネットワークは、ディープニューラルネットワーク（ＤＮＮ）とも称される。ＤＮＮは、ＤｅｅｐＮｅｕｒａｌＮｅｔｗｏｒｋの略である。特に、深い畳みこみニューラルネットワークは、ディープコンボリューショナルニューラルネットワーク（ＤＣＮＮ）と称される。ＤＣＮＮは、ＤｅｅｐＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋの略である。ＤＣＮＮは性能（認識精度、認識性能）が高いことで近年注目されている。
【０００５】
複数のタスクを１つの認識モデルで学習・実行するような「マルチタスク学習」と呼ばれる手法が存在する。例えば、非特許文献１には、複数のタスク用の複数の出力ユニットを設けた１つのＤＮＮを用いて、複数のタスクを学習する方法が記載されている。非特許文献１では、ＤＮＮの一部は、どのタスクに対しても同じ層を利用する共有層を有しており、共有層はすべてのタスクの学習データを用いて学習する。
【先行技術文献】
【特許文献】
【０００６】
特許６７５０８５４号公報
【非特許文献】
【０００７】
Ｃａｒｕａｎａ，Ｒ．（１９９７）"Ｍｕｌｔｉｔａｓｋｌｅａｒｎｉｎｇ，Ｍａｃｈｉｎｅｌｅａｒｎｉｎｇ"２８（１），４１－７５
Ａ．Ｋｒｉｚｈｅｖｓｋｙｅｔａｌ．"ＩｍａｇｅＮｅｔＣｌａｓｓｉｆｉｃａｔｉｏｎｗｉｔｈＤｅｅｐＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ"，Ｐｒｏｃ．ＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ２５（ＮＩＰＳ２０１２）．
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、１つのＮＮに複数のタスクが割り当てられた場合、タスクの組み合わせによっては、一方のタスクに対するＮＮの認識性能が向上しても他方のタスクに対するＮＮの認識性能が低下するようなケースがある。特に、ＮＮの規模が小さい場合には、タスク間で特徴量の取り合いが起こり、ＮＮのタスク間の認識性能にトレードオフの関係が発生しやすい。ＮＮに割り当てるタスクの組み合わせを誤ると、ＮＮの学習に時間がかかるとともにＮＮが目標の認識性能を達成できなくなる。
【０００９】
大規模な計算リソースが利用でき、かつ、ＮＮの規模も大きくできる状況では、ＮＮの学習時間と認識性能は問題とならない。しかし、高速処理と低消費電力が要求される状況では、ＮＮの規模を極力小さくする必要があるため、ＮＮの学習時間と認識性能が問題となる。例えば、ＮＮがカメラ及びスマートフォンなどの電子機器に搭載される場合には、計算リソースが制限されるため、ＮＮの規模を縮小せざるをえず、ＮＮの学習時間と認識性能が問題となる。
【００１０】
一方で、１つのＮＮに割り当てる複数のタスクの組み合わせは、人間の経験、勘、及び検出対象の類似性などに基づいて決められることが多い。よって、ＮＮに割り当てる好適なタスクの組み合わせ方法については実例がない。また、ＮＮに割り当てる好適なタスクの組み合わせを決定するために、全タスクの組み合わせを１つずつ検討することは不可能である。特に、ＮＮに割り当て可能なタスクが増えれば増えるほど、開発リソースの観点から全タスクの組み合わせを１つずつ検討することは困難を極める。
（【００１１】以降は省略されています）

関連特許