TOP特許意匠商標
特許ウォッチ Twitter
公開番号2024053657
公報種別公開特許公報(A)
公開日2024-04-16
出願番号2022159998
出願日2022-10-04
発明の名称情報処理装置
出願人株式会社デンソー,トヨタ自動車株式会社,株式会社ミライズテクノロジーズ
代理人弁理士法人明成国際特許事務所
主分類G06F 15/78 20060101AFI20240409BHJP(計算;計数)
要約【課題】スパース畳み込み処理を行う情報処理装置において、プロセッサに供給される電力量をプロセッサの処理負荷に応じて最適化する。
【解決手段】画像センサ10により時系列的に取得される画像データを対象に、スパース畳み込み処理を行う情報処理装置100、100bは、スパース畳み込み処理の演算を実行するプロセッサ(2)と、画像センサにより取得される画像データのデータレートを用いて、スパース畳み込み処理におけるルールブックサイズを予測するサイズ予測部(5)と、サイズ予測部による予測の結果に応じて、プロセッサに供給される電力量を制御するための制御信号をプロセッサに出力する電力量制御部(6)と、を備える。
【選択図】図1
特許請求の範囲【請求項1】
画像センサ(10)により時系列的に取得される画像データを対象に、スパース畳み込み処理を行う情報処理装置(100、100b)であって、
前記スパース畳み込み処理の演算を実行するプロセッサ(2)と、
前記画像センサにより取得される前記画像データのデータレートを用いて、前記スパース畳み込み処理におけるルールブックサイズを予測するサイズ予測部(5)と、
前記サイズ予測部による前記ルールブックサイズの予測の結果に応じて、前記プロセッサに供給される電力量を制御するための制御信号を前記プロセッサに出力する電力量制御部(6)と、
を備える、情報処理装置。
続きを表示(約 1,300 文字)【請求項2】
請求項1に記載の情報処理装置であって、
前記画像センサの周囲の環境情報を用いて、前記ルールブックサイズの最大値を予測する最大値予測部(8)を更に備え、
前記電力量制御部は、前記最大値予測部による前記最大値の予測の結果に応じた前記制御信号を出力する、情報処理装置。
【請求項3】
請求項2に記載の情報処理装置であって、
前記環境情報は、
前記画像センサの前記画像データ取得時における時刻と、
前記画像センサの前記画像データ取得時における前記画像センサの位置情報と、
前記画像センサの前記画像データ取得時における前記画像センサの周囲の天候情報と、
前記画像センサの搭載された車両のステアリング情報と、
前記画像センサの前記画像データ取得時における前記画像センサの画角内の物体数の情報と、
のうちのいずれか1つである、情報処理装置。
【請求項4】
請求項2に記載の情報処理装置であって、
前記環境情報は、
前記画像センサの前記画像データ取得時における時刻と、
前記画像センサの前記画像データ取得時における前記画像センサの位置情報と、
前記画像センサの前記画像データ取得時における前記画像センサの周囲の天候情報と、
前記画像センサの搭載された車両のステアリング情報と、
前記画像センサの前記画像データ取得時における前記画像センサの画角内の物体数の情報と、
のうちで、いずれか2つ以上を含む、情報処理装置。
【請求項5】
請求項2~4のいずれか1項に記載の情報処理装置であって、
前記画像センサにより取得された前記画像データをバッファするバッファメモリを更に備え、
前記サイズ予測部により予測された前記ルールブックサイズが、前記最大値予測部により予測された前記ルールブックサイズの前記最大値を超える場合、
前記バッファメモリは、前記画像センサにより取得された前記画像データをバッファし、
前記電力量制御部は、前記プロセッサに供給する電力量を増加させるための前記制御信号を出力する、情報処理装置。
【請求項6】
請求項2~4のいずれか1項に記載の情報処理装置であって、
前記サイズ予測部により予測された前記ルールブックサイズが、前記最大値予測部により予測された前記ルールブックサイズの前記最大値を超える場合、
前記プロセッサは、前記画像センサにより取得された前記画像データを対象として前記スパース畳み込み処理を実行せずに廃棄し、
前記電力量制御部は、前記プロセッサに供給する電力量を増加させるための前記制御信号を出力する、情報処理装置。
【請求項7】
請求項1~4のいずれか1項に記載の情報処理装置であって、
前記制御信号は、
前記プロセッサの動作周波数を制御するための制御信号と、
パワーゲーティングを制御するための制御信号と、
前記プロセッサの電源電圧を制御するための制御信号と、
のうちで、少なくとも1つを含む、情報処理装置。

発明の詳細な説明【技術分野】
【0001】
本開示は、情報処理装置に関する。
続きを表示(約 2,200 文字)【背景技術】
【0002】
畳み込みニューラルネットワーク(Convolution Neural Network, CNN)を用いた画像処理として、スパース畳み込み(Sparse Convolution)が知られている(例えば非特許文献1)。スパース畳み込みでは、入力された画像データの要素と、畳み込みに用いられるカーネル(フィルタ)の要素と、畳み込みにより出力されるデータの要素と、を紐づけたルールブックが生成され、NPU(Neural network Processing Unit)がルールブックに従ってスパース畳み込み処理を実行する。
【先行技術文献】
【特許文献】
【0003】
Zhiliang Zhou, "How does sparse convolution work?", [令和4年8月9日検索]、インターネット[URL:https://towardsdatascience.com/how-does-sparse-convolution-work-3257a0a8fd1]
【発明の概要】
【発明が解決しようとする課題】
【0004】
スパース畳み込み処理を行う情報処理装置がイベントカメラ等のセンサにより時系列的に取得されたデータを処理する場合、NPUに入力されるデータレートが変動するため、NPUで処理すべきルールブックサイズも変動する。したがって、NPUの処理負荷が変動するため、NPUに供給される電力量の最適化が困難であった。具体的には、NPUの最大負荷を想定して供給電力量を設定すると、NPUに加えられる負荷が小さい場合に、余剰電力が生じる。他方で、平均負荷を想定して供給電力量を設定すると、NPUに加えられる負荷が平均負荷よりも大きくなった場合に、電力不足が生じる。
【課題を解決するための手段】
【0005】
本開示は、以下の形態として実現することが可能である。
【0006】
本開示の一形態によれば、画像センサ(10)により時系列的に取得される画像データを対象に、スパース畳み込み処理を行う情報処理装置(100、100b)が提供される。この情報処理装置は、前記スパース畳み込み処理の演算を実行するプロセッサ(2)と、前記画像センサにより取得される前記画像データのデータレートを用いて、前記スパース畳み込み処理におけるルールブックサイズを予測するサイズ予測部(5)と、前記サイズ予測部による予測の結果に応じて、前記プロセッサに供給される電力量を制御するための制御信号を前記プロセッサに出力する電力量制御部(6)と、を備える。
【0007】
この形態の情報処理装置によれば、サイズ予測部は、画像センサにより取得された画像データのデータレートを用いてスパース畳み込み処理におけるルールブックサイズを予測し、電力量制御部は、サイズ予測部による予測の結果に応じてプロセッサに供給される電力量を制御するための制御信号をプロセッサに出力するので、プロセッサにおけるスパース畳み込み処理の演算量に応じて、プロセッサに供給される電力量を最適化できる。
【図面の簡単な説明】
【0008】
本開示の第1実施形態における、情報処理装置の概略構成を示すブロック図である。
第1実施形態における電力量制御処理の手順を示すフローチャートである。
本開示の第2実施形態における、情報処理装置の概略構成を示すブロック図である。
第2実施形態における電力量制御処理の手順を示すフローチャートである。
第3実施形態における電力量制御処理の手順を示すフローチャートである。
第4実施形態における電力量制御処理の手順を示すフローチャートである。
【発明を実施するための形態】
【0009】
A.第1実施形態:
A1.装置構成:
図1に示す情報処理装置100は、画像センサ10により取得された画像データを対象にスパース畳み込み処理を実行する。情報処理装置100は、車両、無人搬送車、ロボット等の移動体に搭載される。画像センサ10は、イベントカメラ、LiDAR(Light Detection And Ranging)、RGB-Dカメラ等、スパース畳み込み処理可能なデータを時系列的に出力するセンサである。スパース畳み込み処理された画像データは、自動運転における物体認識や物体との距離推定等の任意のアプリケーションに用いられる。情報処理装置100は、入出力インターフェース部(I/F)部1と、NPU(Neural Processing Unit)2と、CPU(Central Processing Unit)3と、メモリ4と、を備える。入出力I/F部1と、NPU2と、CPU3と、メモリ4とは、いずれもバス7を介して、互いに通信可能に構成されている。
【0010】
入出力I/F部1は、画像センサ10と電気的に接続するためのインターフェース群を有する。画像センサ10により取得された画像データは、入出力I/F部1を介して、情報処理装置100に入力される。
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

株式会社デンソー
固定子
9日前
株式会社デンソー
駆動装置
4日前
株式会社デンソーウェーブ
決済端末
9日前
株式会社デンソー
電子機器
12日前
株式会社デンソー
吸引装置
10日前
株式会社デンソー
表示装置
2日前
株式会社デンソー
報知装置
9日前
株式会社デンソー
半導体装置
10日前
株式会社デンソー
膜分離装置
2日前
株式会社デンソー
半導体装置
12日前
株式会社デンソー
位置検出装置
12日前
株式会社デンソー
電池監視装置
6日前
株式会社デンソー
電圧検出装置
12日前
株式会社デンソー
電子制御装置
9日前
株式会社デンソー
異常検出装置
16日前
株式会社デンソーウェーブ
監視システム
9日前
株式会社デンソー
開閉体制御装置
17日前
株式会社デンソー
組電池制御装置
9日前
株式会社デンソー
縦型半導体装置
10日前
株式会社デンソー
障害物検出装置
5日前
株式会社デンソー
過電流検出回路
12日前
株式会社デンソー
モータ制御装置
4日前
株式会社デンソー
充電提案システム
3日前
株式会社デンソー
運行管理システム
11日前
株式会社デンソーウェーブ
位置分析システム
10日前
株式会社デンソー
無線通信機、基板
3日前
株式会社デンソー
電池認証システム
16日前
株式会社デンソー
車両用通信システム
13日前
株式会社デンソー
エネルギー予測装置
3日前
株式会社デンソーウェーブ
固定部材外しシステム
12日前
株式会社デンソー
スイッチング電源装置
13日前
株式会社デンソー
半導体素子の画像検査
4日前
株式会社デンソー
半導体装置の製造方法
6日前
株式会社デンソーテン
制御装置および制御方法
6日前
株式会社デンソー
SiCウェハの製造装置
12日前
株式会社デンソーテン
制御装置および制御方法
2日前
続きを見る