特許ウォッチ

公開番号2025016553
公報種別公開特許公報(A)
公開日2025-02-04
出願番号2024186619,2023036865
出願日2024-10-23,2017-07-13
発明の名称畳み込みニューラルネットワークのためのスーパーピクセル法
出願人グーグルエルエルシー,Google LLC
代理人弁理士法人深見特許事務所
主分類G06N 3/0464 20230101AFI20250128BHJP(計算;計数)
要約【課題】畳み込みニューラルネットワーク層の計算を効率的に実行するための方法、システム及び装置を提供する。
【解決手段】方法は、X×Y×Z入力テンソルをX’×Y’×Z’入力テンソルに変換するステップを含み、X’はX以下、Y’はY以下、Z’はZ以上である。方法はまた、修正されたウェイト行列を取得するステップを含み、修正されたウェイト行列は、X’×Y’×Z’入力テンソルに対して作用することにより、U’×V’×W’出力テンソルを生成し、U’×V’×W’出力テンソルは変換されたU×V×W出力テンソルを含み、U’はU以下、V’はV以下、W’はW以上である。方法はさらに、修正されたウェイト行列を用いてX’×Y’×Z’入力テンソルを処理することによりU’×V’×W’出力テンソルを生成するステップを含む。
【選択図】図2
特許請求の範囲【請求項１】
畳み込みニューラルネットワーク層の計算をより効率的に実行するためのコンピュータによって実施される方法であって、前記畳み込みニューラルネットワーク層は、Ｘ×Ｙ×Ｚ入力テンソルを受け１つ以上の畳み込みニューラルネットワーク層ウェイト行列を用いて前記受けた入力テンソルを処理することによりＵ×Ｖ×Ｗ出力テンソルを生成するように構成されており、前記方法は、
前記Ｘ×Ｙ×Ｚ入力テンソルをＸ’×Ｙ’×Ｚ’入力テンソルに変換するステップを含み、Ｘ’はＸ以下、Ｙ’はＹ以下、Ｚ’はＺ以上であり、
１つ以上の修正された畳み込みニューラルネットワーク層ウェイト行列を取得するステップを含み、（ｉ）前記修正されたウェイト行列は、前記Ｘ’×Ｙ’×Ｚ’入力テンソルに対して作用することにより、Ｕ’×Ｖ’×Ｗ’出力テンソルを生成し、（ｉｉ）前記Ｕ’×Ｖ’×Ｗ’出力テンソルは、変換されたＵ×Ｖ×Ｗ出力テンソルを含み、Ｕ’はＵ以下、Ｖ’はＶ以下、Ｗ’はＷ以上であり、
前記修正されたウェイト行列を用いて前記Ｘ’×Ｙ’×Ｚ’入力テンソルを処理することにより前記Ｕ’×Ｖ’×Ｗ’出力テンソルを生成するステップを含み、前記Ｕ’×Ｖ’×Ｗ’出力テンソルは前記Ｕ×Ｖ×Ｗ出力テンソルを含む、方法。
続きを表示（約 890 文字）【請求項２】
Ｘ’は自然数Ｎで割ったＸのシーリング（ceiling）に等しく、Ｙ’は自然数Ｍで割っ
たＹのシーリングに等しく、Ｚ’はＺにＮＭを掛けたものに等しい、請求項１に記載の方法。
【請求項３】
前記Ｘ×Ｙ×Ｚ入力テンソルはＸＹ第１入力を表し、前記Ｘ’×Ｙ’×Ｚ’入力テンソルはＸ’Ｙ’スーパー入力を表し、各スーパー入力は複数の第１入力を含む、請求項２に記載の方法。
【請求項４】
前記複数の第１入力の数はＮＭ個の入力に等しい、請求項３に記載の方法。
【請求項５】
前記Ｘ’×Ｙ’×Ｚ’入力テンソルに対する前記修正されたウェイト行列の作用は、前記Ｘ×Ｙ×Ｚ入力テンソルに対する前記畳み込みニューラルネットワーク層ウェイト行列の作用と同等である、請求項１に記載の方法。
【請求項６】
前記修正されたウェイト行列のエントリは、１つ以上の畳み込みニューラルネットワーク層ウェイト行列を含む、請求項１に記載の方法。
【請求項７】
前記修正されたウェイト行列は、バンド構造を有する行列を含む、請求項１に記載の方法。
【請求項８】
Ｕ’は自然数Ｐで割ったＵのシーリング（ceiling）に等しく、Ｖ’は自然数Ｑで割っ
たＶのシーリングに等しく、Ｗ’はＷにＰＱを掛けたものに等しい、請求項１に記載の方法。
【請求項９】
前記畳み込みニューラルネットワーク層は、Ｘ次元のストライドＳとＹ次元のストライドＴとを含み、ストライドＳ、Ｔと、出力テンソルＵ×Ｖ×Ｗと、変換された出力テンソルＵ’×Ｖ’×Ｗ’との関係は、Ｕ’＝ｃｅｉｌｉｎｇ（Ｕ／ＮＳ）およびＶ’＝ｃｅｉｌｉｎｇ（Ｖ／ＭＴ）によって示される、請求項８に記載の方法。
【請求項１０】
前記Ｕ×Ｖ×Ｗ出力テンソルはＵＶ第１出力を表し、前記Ｕ’×Ｖ’×Ｗ’出力テンソルはＵ’Ｖ’スーパー出力を表し、各スーパー出力は複数の第１出力を含む、請求項８に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
背景
本明細書は、入力をニューラルネットワークの層を通して処理することにより出力を生成することに関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
ニューラルネットワークは、受けた入力に対する出力を予測するために非線形ユニットからなる１つ以上の層を用いる機械学習モデルである。ニューラルネットワークの中には、出力層に加えて１つ以上の隠れ層を含むものがある。各隠れ層の出力は、ネットワーク内の別の層、たとえば次の隠れ層または出力層への入力として使用される。ネットワークの各層は、各組のパラメータの現在の値に従い、受けた入力から出力を生成する。
【発明の概要】
【課題を解決するための手段】
【０００３】
概要
概して、本明細書に記載の主題の１つの革新的な側面は、畳み込みニューラルネットワーク（convolutional neural network）層の計算をより効率的に実行するための方法において実現することができる。この畳み込みニューラルネットワーク層は、Ｘ×Ｙ×Ｚ入力テンソルを受け１つ以上の畳み込みニューラルネットワーク層ウェイト行列を用いて上記受けた入力テンソルを処理することによりＵ×Ｖ×Ｗ出力テンソルを生成するように構成されている。いくつかの側面において、この方法は、Ｘ×Ｙ×Ｚ入力テンソルをＸ’×Ｙ’×Ｚ’入力テンソルに変換するステップを含み、Ｘ’はＸ以下、Ｙ’はＹ以下、Ｚ’はＺ以上であり、この方法はさらに、１つ以上の修正された畳み込みニューラルネットワーク層ウェイト行列を取得するステップを含み、（ｉ）修正されたウェイト行列は、Ｘ’×Ｙ’×Ｚ’入力テンソルに対して作用することにより、Ｕ’×Ｖ’×Ｗ’出力テンソルを生成し、（ｉｉ）Ｕ’×Ｖ’×Ｗ’出力テンソルは、変換されたＵ×Ｖ×Ｗ出力テンソルを含み、Ｕ’はＵ以下、Ｖ’はＶ以下、Ｗ’はＷ以上であり、この方法はさらに、修正されたウェイト行列を用いてＸ’×Ｙ’×Ｚ’入力テンソルを処理することによりＵ’×Ｖ’×Ｗ’出力テンソルを生成するステップを含み、Ｕ’×Ｖ’×Ｗ’出力テンソルはＵ×Ｖ×Ｗ出力テンソルを含む。
【０００４】
この側面のその他の実施形態は、対応するコンピュータシステム、装置、および１つ以上のコンピュータ記憶装置に記録されたコンピュータプログラムを含み、これらは各々、上記方法のアクションを実行するように構成されている。１つ以上のコンピュータからなるシステムは、ソフトウェア、ファームウェア、ハードウェア、またはその任意の組み合わせによって特定の動作またはアクションを実行するように構成することができ、上記ソフトウェア、ファームウェア、ハードウェア、またはその任意の組み合わせは、当該システムにインストールされ動作時に当該システムに上記アクションを実行させることができる。１つ以上のコンピュータプログラムは、データ処理装置によって実行されると当該装置にアクションを実行させる命令を含むことにより、特定の動作またはアクションを実行するように構成することができる。
【０００５】
上記およびその他の実施形態は各々、任意で、以下の特徴のうちの１つ以上を、単独でまたは組み合わせて含み得る。
【０００６】
いくつかの実装例において、Ｘ’は自然数Ｎで割ったＸのシーリング（ceiling）に等
しく、Ｙ’は自然数Ｍで割ったＹのシーリングに等しく、Ｚ’はＺにＮＭを掛けたものに
等しい。
【０００７】
いくつかの実装例において、Ｘ×Ｙ×Ｚ入力テンソルはＸＹ第１入力を表し、Ｘ’×Ｙ’×Ｚ’入力テンソルはＸ’Ｙ’スーパー入力を表し、各スーパー入力は複数の第１入力を含む。
【０００８】
いくつかの実装例において、複数の第１入力の数はＮＭ個の入力に等しい。
いくつかの実装例において、Ｘ’×Ｙ’×Ｚ’入力テンソルに対する修正されたウェイト行列の作用は、Ｘ×Ｙ×Ｚ入力テンソルに対する畳み込みニューラルネットワーク層ウェイト行列の作用と同等である。
【０００９】
いくつかの実装例において、修正されたウェイト行列のエントリは、１つ以上の畳み込みニューラルネットワーク層ウェイト行列を含む。
【００１０】
いくつかの場合において、修正されたウェイト行列は、バンド構造を有する行列を含む。
（【００１１】以降は省略されています）

関連特許