特許ウォッチ

公開番号2025087518
公報種別公開特許公報(A)
公開日2025-06-10
出願番号2023202225
出願日2023-11-29
発明の名称情報処理装置、情報処理方法およびプログラム
出願人パナソニックオートモーティブシステムズ株式会社
代理人個人,個人,個人
主分類G06N 3/0464 20230101AFI20250603BHJP(計算;計数)
要約【課題】精度の劣化なく高速な処理が可能な深層学習のモデルを生成することができる情報処理装置を提供する。
【解決手段】情報処理装置10は、深層学習の第1モデルm1を取得する入力部11と、第1モデルm1に含まれる全結合層L3を選択し、選択された全結合層L3を畳み込み層Lcに変換し、第1モデルm1に含まれる次元変換層L2および次元逆変換層L4を削除する変換部12とを備える。次元変換層L2は、入力情報の次元数を3次元から2次元に変換し、2次元で表現される入力情報を全結合層L3に出力する層である。次元逆変換層は、全結合層L3から出力される出力情報の次元数を2次元から3次元に逆変換する層である。
【選択図】図1
特許請求の範囲【請求項１】
プロセッサと、
前記プロセッサに接続されたメモリとを備え、
前記プロセッサは、前記メモリを用いて、
深層学習の第１モデルを取得し、
前記第１モデルに含まれる全結合層を選択し、
選択された全結合層を畳み込み層に変換し、
前記第１モデルに含まれる次元変換層および次元逆変換層を削除し、
前記次元変換層は、
入力情報の次元数を３次元から２次元に変換し、２次元で表現される前記入力情報を前記全結合層に出力する層であり、
前記次元逆変換層は、
前記全結合層から出力される出力情報の次元数を２次元から３次元に逆変換する層である、
情報処理装置。
続きを表示（約 1,200 文字）【請求項２】
前記プロセッサは、さらに、
前記全結合層の前記畳み込み層への変換と、前記次元変換層および前記次元逆変換層の削除とによって生成される第２モデルに対する機械学習を行う、
請求項１に記載の情報処理装置。
【請求項３】
前記プロセッサは、さらに、
前記全結合層の前記畳み込み層への変換と、前記次元変換層および前記次元逆変換層の削除とによって生成される第２モデルに対して、既に機械学習が行われた前記第１モデルのパラメータを複製して挿入する、
請求項１に記載の情報処理装置。
【請求項４】
３次元で表現される入力情報は、第１軸、第２軸、およびチャンネル軸にしたがって配列される複数の入力値からなり、
２次元で表現される入力情報は、前記第２軸および前記チャンネル軸にしたがって配列される複数の入力値からなり、
前記全結合層は、前記２次元で表現される入力情報に対して適用される重み係数を、前記チャンネル軸上にあるチャンネルごとに有し、
前記畳み込み層は、前記３次元で表現される入力情報に対して適用されるカーネルを、前記チャンネル軸上にある前記チャンネルごとに有し、
前記チャンネルごとの前記カーネルのサイズは１×１であり、
前記畳み込み層に入力される前記３次元で表現される入力情報では、前記第１軸に沿って配置される入力値の個数は１である、
請求項１～３の何れか１項に記載の情報処理装置。
【請求項５】
コンピュータが行う情報処理方法であって、
深層学習の第１モデルを取得し、
前記第１モデルに含まれる全結合層を選択し、
選択された全結合層を畳み込み層に変換し、
前記第１モデルに含まれる次元変換層および次元逆変換層を削除し、
前記次元変換層は、
入力情報の次元数を３次元から２次元に変換し、２次元で表現される前記入力情報を前記全結合層に出力する層であり、
前記次元逆変換層は、
前記全結合層から出力される出力情報の次元数を２次元から３次元に逆変換する層である、
情報処理方法。
【請求項６】
深層学習の第１モデルを取得し、
前記第１モデルに含まれる全結合層を選択し、
選択された全結合層を畳み込み層に変換し、
前記第１モデルに含まれる次元変換層および次元逆変換層を削除する、
ことをコンピュータに実行させ、
前記次元変換層は、
入力情報の次元数を３次元から２次元に変換し、２次元で表現される前記入力情報を前記全結合層に出力する層であり、
前記次元逆変換層は、
前記全結合層から出力される出力情報の次元数を２次元から３次元に逆変換する層である、
プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、機械学習に関する処理を行う情報処理装置などに関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
近年、Transformerが提案されている（例えば、非特許文献１参照）。このTransformerは、深層学習のモデルであって、エンコーダとデコーダとをAttentionのみで結んだネットワークアーキテクチャである。また、Transformerは、ＣｈａｔＧＰＴ（登録商標）にも利用されている。
【先行技術文献】
【非特許文献】
【０００３】
A.Vaswani, N.Shazeer, N.Parmar, J.Uszkoreit, L.Jones, A.N.Gomez, L.Kaiser, and I.Polosukhin，“Attention Is All You Need”，NIPS 2017，pp.5998-6008(2017)
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記非特許文献１のTransformerのような深層学習のモデルを用いた処理は遅いという課題がある。
【０００５】
そこで、本開示は、精度の劣化なく高速な処理が可能な深層学習のモデルを生成することができる情報処理装置などを提供する。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る情報処理装置は、プロセッサと、前記プロセッサに接続されたメモリとを備え、前記プロセッサは、前記メモリを用いて、深層学習の第１モデルを取得し、前記第１モデルに含まれる全結合層を選択し、選択された全結合層を畳み込み層に変換し、前記第１モデルに含まれる次元変換層および次元逆変換層を削除し、前記次元変換層は、入力情報の次元数を３次元から２次元に変換し、２次元で表現される前記入力情報を前記全結合層に出力する層であり、前記次元逆変換層は、前記全結合層から出力される出力情報の次元数を２次元から３次元に逆変換する層である。
【０００７】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。
【発明の効果】
【０００８】
本開示の情報処理装置は、精度の劣化なく高速な処理が可能な深層学習のモデルを生成することができる。
【０００９】
なお、本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施の形態並びに明細書および図面に記載された構成によって提供されるが、必ずしも全ての構成が必要とはされない。
【図面の簡単な説明】
【００１０】
図１は、実施の形態における情報処理装置の構成の一例を示すブロック図である。
図２は、実施の形態における情報処理装置が第１モデルおよび第２モデルを扱う処理動作を、比較例の装置の処理動作と比較して説明するための図である。
図３は、実施の形態における次元数の変換を説明するための図である。
図４は、実施の形態における全結合層の処理動作を説明するための図である。
図５は、実施の形態における畳み込み層の処理動作を説明するための図である。
図６は、実施の形態における、カーネルサイズが１×１である場合における畳み込み層の処理動作を説明するための図である。
図７は、実施の形態における情報処理装置の処理動作の一例を示すフローチャートである。
図８は、実施の形態の変形例における情報処理装置の構成の一例を示すブロック図である。
図９は、実施の形態の変形例におけるパラメータ複製部の処理を説明するための図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許