特許ウォッチ

公開番号2024058463
公報種別公開特許公報(A)
公開日2024-04-25
出願番号2022165837
出願日2022-10-14
発明の名称サーバ装置、端末装置、情報処理方法および情報処理システム
出願人ソニーセミコンダクタソリューションズ株式会社
代理人弁理士法人酒井国際特許事務所
主分類G06N 3/02 20060101AFI20240418BHJP(計算;計数)
要約【課題】ニューラルネットワーク(NN)を適切に分割するサーバ装置、端末装置、情報処理方法および情報処理システムを提供する。
【解決手段】NN配信サーバが、複数のAI装置と、複数の伝送路を介して互いに通信可能に接続される情報処理システムにおいて、NN配信サーバ10は、実行用ニューラルネットワークを格納するNN格納部111と、実行用ニューラルネットワークを分割位置で分割した分割実行用ニューラルネットワークのそれぞれを、2以上の端末装置に分配して供給するNN制御部110と、を備える、NN制御部110は、2以上の端末装置に対して端末装置の処理能力を計測するための計測用ニューラルネットワークを供給し、計測用ニューラルネットワークによる2以上の端末装置それぞれの計測結果を用いて分割位置を決定する。
【選択図】図3
特許請求の範囲【請求項１】
実行用ニューラルネットワークを格納するニューラルネットワーク格納部と、
前記実行用ニューラルネットワークを分割位置で分割した分割実行用ニューラルネットワークのそれぞれを、２以上の端末装置に分配して供給するニューラルネットワーク制御部と、
を備え、
前記ニューラルネットワーク制御部は、
前記２以上の端末装置に対して端末装置の処理能力を計測するための計測用ニューラルネットワークを供給し、前記計測用ニューラルネットワークによる前記２以上の端末装置それぞれの計測結果を用いて前記分割位置を決定する、
サーバ装置。
続きを表示（約 1,800 文字）【請求項２】
前記ニューラルネットワーク制御部は、
前記２以上の端末装置に対して、前記２以上の端末装置の間で情報を伝送する伝送路における伝送能力の測定を要求し、
前記要求に応じて取得された前記伝送能力をさらに用いて、前記分割位置を決定する、
請求項１に記載のサーバ装置。
【請求項３】
前記ニューラルネットワーク制御部は、
前記２以上の端末装置それぞれのニューラルネットワーク処理に係る処理能力と、前記伝送能力と、前記実行用ニューラルネットワークに基づき算出される、前記実行用ニューラルネットワークの各層における処理量と、各層間の通信量と、に基づき、前記分割位置を決定する、
請求項２に記載のサーバ装置。
【請求項４】
前記ニューラルネットワーク制御部は、
前記２以上の端末装置のうち第１の端末装置に実行される、前記実行用ニューラルネットワークの分割候補位置の直前までの層による処理の第１の処理量と、
前記２以上の端末装置のうち前記第１の端末装置の処理結果が入力される第２の端末装置に実行される、前記実行用ニューラルネットワークの前記分割候補位置の直後からの層による処理の第２の処理量と、
を前記処理量として用いて、前記分割位置を決定する、
請求項３に記載のサーバ装置。
【請求項５】
前記ニューラルネットワーク制御部は、
前記２以上の端末装置のうち第１の端末装置および第２の端末装置それぞれの前記処理能力と、前記第１の端末装置と前記第２の端末装置との間の前記伝送能力と、前記第１の処理量と、前記第２の処理量と、前記通信量と、を用いて前記分割候補位置ごとに前記実行用ニューラルネットワークの全体での処理速度を算出し、前記算出された処理速度に基づき、前記分割候補位置の何れを前記分割位置として決定するかを判定する、
請求項４に記載のサーバ装置。
【請求項６】
前記ニューラルネットワーク制御部は、
前記２以上の端末装置のうち第１の端末装置および第２の端末装置それぞれの前記処理能力と、前記第１の端末装置と前記第２の端末装置との間の前記伝送能力と、前記第１の端末装置および前記第２の端末装置それぞれから取得されるニューラルネットワーク処理の実行時の消費電力と、前記第１の処理量と、前記第２の処理量と、前記通信量と、を用いて前記分割候補位置ごとに前記実行用ニューラルネットワークの全体での消費電力を算出し、前記算出された消費電力に基づき、前記分割候補位置の何れを前記分割位置として決定するかを判定する、
請求項４に記載のサーバ装置。
【請求項７】
前記ニューラルネットワーク制御部は、
前記２以上の端末装置それぞれからニューラルネットワーク処理に係る能力を示す能力値を取得し、取得された前記２以上の端末装置それぞれの前記能力値と、前記実行用ニューラルネットワークと、に基づき、前記２以上の端末装置それぞれに供給する前記計測用ニューラルネットワークを選定する、
請求項１に記載のサーバ装置。
【請求項８】
前記能力値は、端末装置がニューラルネットワーク処理に利用可能な演算能力を示す値と、端末装置が前記ニューラルネットワーク処理に利用可能なメモリの容量と、前記メモリのアクセスタイミングと、前記メモリの帯域幅と、前記メモリのインタフェースタイプと、端末装置がニューラルネットワーク処理を実行する演算器のアーキテクチャと、のうち少なくとも前記演算能力を示す値を含む、
請求項７に記載のサーバ装置。
【請求項９】
前記ニューラルネットワーク制御部は、
前記能力値を、ＮＩＣＥ(Network of Intelligent Camera Ecosystem)アライアンスによりデータパイプラインとして規定されたプロトコルを用いて、前記２以上の端末装置から取得する、
請求項７に記載のサーバ装置。
【請求項１０】
前記ニューラルネットワーク制御部は、
前記２以上の端末装置のうち少なくとも１つの端末装置から送られた、前記分割位置を切り替える切替要求に応じて前記分割位置に対して新たな分割位置を決定する、
請求項１に記載のサーバ装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、サーバ装置、端末装置、情報処理方法および情報処理システムに関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
ＤＮＮ(Deep Neural Network)を組み込んで推論処理を行うデバイスが知られている。一般に、ＤＮＮを用いた推論処理は計算コストが大きく、さらに、複雑で高度なＤＮＮ処理を実行可能なモデルほど、モデルサイズが大きくなる傾向にある。そのため、ＤＮＮを分割して、複数の機器で推論処理を分散して実行する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
米国特許出願公開第２０２０／０１７５３６１号明細書
米国特許出願公開第２０１６／００３４８１１号明細書
米国特許出願公開第２０１９／０３７７９３０号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＤＮＮを分割するに当たり、その処理量などに応じて適切な分割を行う必要がある。
【０００５】
本開示は、ニューラルネットワークを適切に分割することが可能なサーバ装置、端末装置、情報処理方法および情報処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示に係るサーバ装置は、実行用ニューラルネットワークを格納するニューラルネットワーク格納部と、前記実行用ニューラルネットワークを分割位置で分割した分割実行用ニューラルネットワークのそれぞれを、２以上の端末装置に分配して供給するニューラルネットワーク制御部と、を備え、前記ニューラルネットワーク制御部は、前記２以上の端末装置に対して端末装置の処理能力を計測するための計測用ニューラルネットワークを供給し、前記計測用ニューラルネットワークによる前記２以上の端末装置それぞれの計測結果を用いて前記分割位置を決定する。
【図面の簡単な説明】
【０００７】
実施形態に係る情報処理システムを概略的に示す模式図である。
実施形態に係るニューラルネットワーク配信サーバの一例の構成を示すブロック図である。
実施形態に係るニューラルネットワーク配信サーバの機能を説明するための一例の機能ブロック図である。
実施形態に係るＡＩ装置の一例の構成を示すブロック図である。
実施形態に適用可能な撮像装置の一例の構成を示すブロック図である。
実施形態に適用可能な撮像装置の一例の構造を概略的に示す斜視図である。
実施形態に係るＡＩ装置の機能を説明するための一例の機能ブロック図である。
実施形態に係るＡＩ装置の一例の構成を示すブロック図である。
実施形態に係るＡＩ装置の機能を説明するための一例の機能ブロック図である。
既存技術による基本動作シーケンスの一例を示すシーケンス図である。
実施形態に係る情報処理システムにおける処理の流れを説明するためのシーケンス図である。
実施形態に係るニューラルネットワーク配信サーバにおける処理を説明するための一例のフローチャートである。
実施形態に係るＡＩ装置における処理を説明するための一例のフローチャートである。
実施形態に係る、各層の処理量、各層間のデータ通信量および各ＡＩ装置に対する処理量の配分を説明するための模式図である。
実施形態に係る、ニューラルネットワーク全体の処理速度に基づく分割位置の決定処理を説明するための模式図である。
実施形態に係る、ニューラルネットワーク全体の消費電力に基づく分割位置の決定処理を説明するための模式図である。
実施形態に係る、伝送路３１における伝送速度に基づく分割位置の決定処理を説明するための模式図である。
実施形態の第１の変形例に係る情報処理システムの一例の構成を示す模式図である。
図１８は、実施形態の第２の変形例に係る情報処理システムの一例の構成を示す模式図である。
【発明を実施するための形態】
【０００８】
以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
【０００９】
以下、本開示の実施形態について、下記の順序に従って説明する。
１．本開示の実施形態の概要
２．実施形態に適用可能な構成
２－１．ニューラルネットワーク配信サーバ
２－２．ＡＩ装置
３．既存技術
４．本開示の実施形態について
４－１．実施形態に係る処理の流れ
４－２．実施形態に係るニューラルネットワーク分割位置の決定方法
５．実施形態の第１の変形例
６．実施形態の第２の変形例
【００１０】
（１．本開示の実施形態の概要）
先ず、本開示の実施形態の概要について説明する。図１は、実施形態に係る情報処理システムを概略的に示す模式図である。
（【００１１】以降は省略されています）

関連特許