特許ウォッチ

公開番号2024107926
公報種別公開特許公報(A)
公開日2024-08-09
出願番号2023012128
出願日2023-01-30
発明の名称情報処理装置、情報処理方法
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06N 3/082 20230101AFI20240802BHJP(計算;計数)
要約【課題】複数のタスクで共有される共有層を有した階層型ニューラルネットワークにおいて該複数のタスクの学習を行う場合に、タスク同士の相性が未知であっても、共有層を効率的かつ好適に学習するための技術を提供すること。
【解決手段】階層型ニューラルネットワークにおいて複数のタスクで共有される共有層をタスクごとのニューラルネットワーク層に置き換えた置換層の出力の統合比率を複数のタスクの学習処理により取得し、該取得した統合比率と該置換層の学習パラメータとに基づいて該共有層の学習パラメータを取得する。
【選択図】図4
特許請求の範囲【請求項１】
階層型ニューラルネットワークにおいて複数のタスクで共有される共有層をタスクごとのニューラルネットワーク層に置き換えた置換層の出力の統合比率を、複数のタスクの学習処理により取得する第１取得手段と、
前記第１取得手段が取得した統合比率と、前記学習処理により得られた前記置換層の学習パラメータと、に基づいて前記共有層の学習パラメータを取得する第２取得手段と
を備えることを特徴とする情報処理装置。
続きを表示（約 1,400 文字）【請求項２】
前記第１取得手段は、前記階層型ニューラルネットワークにおける共有層をタスクごとの置換層に置換した階層型ニューラルネットワークを共有層置換モデルとして取得し、該共有層置換モデルにおいて前記共有層に対応するそれぞれの置換層からの出力と重みとの積を統合して出力する統合化ネットワークを含めた前記階層型ニューラルネットワークの学習処理を行うことで更新された該重みを前記統合比率として取得することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第２取得手段は、前記置換層からの出力が前記統合化ネットワークの出力と等価となるような前記共有層の学習パラメータを取得することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記第１取得手段が、前記置換層の出力の統合比率を取得すると、前記第２取得手段は、該統合比率に基づいて前記共有層の学習パラメータを取得することを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記第１取得手段が、それぞれの共有層に対応する前記置換層の出力の統合比率を取得すると、前記第２取得手段は、該統合比率と、前記置換層の学習パラメータと、に基づいて該共有層の学習パラメータを取得することを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記タスクは１つのタスクに対応する複数のサブタスクであることを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記置換層は前記共有層と同一のニューラルネットワーク構造を有することを特徴とする請求項１に記載の情報処理装置。
【請求項８】
階層型ニューラルネットワークにおいてタスクごとに固有の固有層の出力の統合比率を、学習処理により取得する第１取得手段と、
前記第１取得手段が取得した統合比率と、前記固有層の学習パラメータと、に基づいて２以上の固有層を統合した層の学習パラメータを取得する第２取得手段と
を備えることを特徴とする情報処理装置。
【請求項９】
情報処理装置が行う情報処理方法であって、
前記情報処理装置の第１取得手段が、階層型ニューラルネットワークにおいて複数のタスクで共有される共有層をタスクごとのニューラルネットワーク層に置き換えた置換層の出力の統合比率を、複数のタスクの学習処理により取得する第１取得工程と、
前記情報処理装置の第２取得手段が、前記第１取得工程で取得した統合比率と、前記学習処理により得られた前記置換層の学習パラメータと、に基づいて前記共有層の学習パラメータを取得する第２取得工程と
を備えることを特徴とする情報処理方法。
【請求項１０】
情報処理装置が行う情報処理方法であって、
前記情報処理装置の第１取得手段が、階層型ニューラルネットワークにおいてタスクごとに固有の固有層の出力の統合比率を、学習処理により取得する第１取得工程と、
前記情報処理装置の第２取得手段が、前記第１取得工程で取得した統合比率と、前記固有層の学習パラメータと、に基づいて２以上の固有層を統合した層の学習パラメータを取得する第２取得工程と
を備えることを特徴とする情報処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、学習技術に関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
コンピュータ等の装置が画像や音声などのデータの内容を学習して認識を行う技術が存在する。認識処理の目的を、ここでは認識タスクと呼び、認識タスクを学習・実行するための数理モデルを認識モデルと呼ぶ。
【０００３】
認識タスクには、例えば、画像中から特定の物体（顔、瞳、頭部、動物、乗物等）を検出する物体検出タスクや、意味的領域分割と呼ばれる画像の画素単位での物体検出を行う領域検出タスクが存在する。
【０００４】
他にも、画像中の物体（被写体）のカテゴリ（人間、動物、乗り物等）を判別する物体カテゴリ認識タスクや、特定の被写体を探索して追尾する追尾タスク、シーンの種別（都市、山間、海岸等）を判別するシーン種別認識タスク等の多様な認識タスクがある。以下、認識タスクをタスクと呼ぶ。
【０００５】
上記のようなタスクを学習・実行する技術としては、ニューラルネットワークが知られている。深い（層の数が多い）多層ニューラルネットワークは、ディープニューラルネットワーク（ＤＮＮ）とも称される。ＤＮＮは、ＤｅｅｐＮｅｕｒａｌＮｅｔｗｏｒｋの略である。特に、深い畳みこみニューラルネットワークは、ディープコンボリューショナルニューラルネットワーク（ＤＣＮＮ）と称される。ＤＣＮＮは、ＤｅｅｐＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋの略である。ＤＣＮＮは性能（認識精度、認識性能）が高いことで近年注目されている。
【０００６】
複数のタスクを１つの認識モデルで学習・実行するような、マルチタスク学習と呼ばれる手法が存在する。例えば、非特許文献１には、複数のタスク用の複数の出力ユニットを設けた１つのＤＮＮを用いて、複数のタスクを学習する方法が記載されている。非特許文献１では、ＤＮＮの一部はどのタスクも同じものを利用する共有層を有しており、共有層はすべてのタスクのデータによって学習される。特許文献１には、複数の多層ニューラルネットワークにおいて、特定の層を共有層とするか否かを判定し、ネットワーク規模を縮小する方法が開示されている。
【０００７】
タスク同士に関連性がある場合、共有層を使用して学習すると、他タスクの特徴量を互いに活用しあうことで、全ての層を独立して学習するよりも、性能が向上する。また、層を共有化することで、認識モデルの規模が縮小し、学習の高速化やメモリ使用量を削減できる、という利点がある。
【先行技術文献】
【特許文献】
【０００８】
特許第６７５０８５４号公報
【非特許文献】
【０００９】
Ｃａｒｕａｎａ，Ｒ．（１９９７）“Ｍｕｌｔｉｔａｓｋｌｅａｒｎｉｎｇ，Ｍａｃｈｉｎｅｌｅａｒｎｉｎｇ”２８（１），４１－７５
Ａ．Ｋｒｉｚｈｅｖｓｋｙｅｔａｌ．“ＩｍａｇｅＮｅｔＣｌａｓｓｉｆｉｃａｔｉｏｎｗｉｔｈＤｅｅｐＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ”，Ｐｒｏｃ．ＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ２５（ＮＩＰＳ２０１２）．
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、タスク同士に関連性がない場合、タスクの組み合わせによっては、一方のタスクの性能が上がると、もう一方のタスクの性能が下がるケースがある。特にニューラルネットワークの規模が小さい場合には、タスク間で特徴量の取り合いが起こり、このようなトレードオフの関係が発生しやすい。
（【００１１】以降は省略されています）

関連特許