特許ウォッチ

公開番号2024053657
公報種別公開特許公報(A)
公開日2024-04-16
出願番号2022159998
出願日2022-10-04
発明の名称情報処理装置
出願人株式会社デンソー,トヨタ自動車株式会社,株式会社ミライズテクノロジーズ
代理人弁理士法人明成国際特許事務所
主分類G06F 15/78 20060101AFI20240409BHJP(計算;計数)
要約【課題】スパース畳み込み処理を行う情報処理装置において、プロセッサに供給される電力量をプロセッサの処理負荷に応じて最適化する。
【解決手段】画像センサ10により時系列的に取得される画像データを対象に、スパース畳み込み処理を行う情報処理装置100、100bは、スパース畳み込み処理の演算を実行するプロセッサ(2)と、画像センサにより取得される画像データのデータレートを用いて、スパース畳み込み処理におけるルールブックサイズを予測するサイズ予測部(5)と、サイズ予測部による予測の結果に応じて、プロセッサに供給される電力量を制御するための制御信号をプロセッサに出力する電力量制御部(6)と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
画像センサ（１０）により時系列的に取得される画像データを対象に、スパース畳み込み処理を行う情報処理装置（１００、１００ｂ）であって、
前記スパース畳み込み処理の演算を実行するプロセッサ（２）と、
前記画像センサにより取得される前記画像データのデータレートを用いて、前記スパース畳み込み処理におけるルールブックサイズを予測するサイズ予測部（５）と、
前記サイズ予測部による前記ルールブックサイズの予測の結果に応じて、前記プロセッサに供給される電力量を制御するための制御信号を前記プロセッサに出力する電力量制御部（６）と、
を備える、情報処理装置。
続きを表示（約 1,300 文字）【請求項２】
請求項１に記載の情報処理装置であって、
前記画像センサの周囲の環境情報を用いて、前記ルールブックサイズの最大値を予測する最大値予測部（８）を更に備え、
前記電力量制御部は、前記最大値予測部による前記最大値の予測の結果に応じた前記制御信号を出力する、情報処理装置。
【請求項３】
請求項２に記載の情報処理装置であって、
前記環境情報は、
前記画像センサの前記画像データ取得時における時刻と、
前記画像センサの前記画像データ取得時における前記画像センサの位置情報と、
前記画像センサの前記画像データ取得時における前記画像センサの周囲の天候情報と、
前記画像センサの搭載された車両のステアリング情報と、
前記画像センサの前記画像データ取得時における前記画像センサの画角内の物体数の情報と、
のうちのいずれか１つである、情報処理装置。
【請求項４】
請求項２に記載の情報処理装置であって、
前記環境情報は、
前記画像センサの前記画像データ取得時における時刻と、
前記画像センサの前記画像データ取得時における前記画像センサの位置情報と、
前記画像センサの前記画像データ取得時における前記画像センサの周囲の天候情報と、
前記画像センサの搭載された車両のステアリング情報と、
前記画像センサの前記画像データ取得時における前記画像センサの画角内の物体数の情報と、
のうちで、いずれか２つ以上を含む、情報処理装置。
【請求項５】
請求項２～４のいずれか１項に記載の情報処理装置であって、
前記画像センサにより取得された前記画像データをバッファするバッファメモリを更に備え、
前記サイズ予測部により予測された前記ルールブックサイズが、前記最大値予測部により予測された前記ルールブックサイズの前記最大値を超える場合、
前記バッファメモリは、前記画像センサにより取得された前記画像データをバッファし、
前記電力量制御部は、前記プロセッサに供給する電力量を増加させるための前記制御信号を出力する、情報処理装置。
【請求項６】
請求項２～４のいずれか１項に記載の情報処理装置であって、
前記サイズ予測部により予測された前記ルールブックサイズが、前記最大値予測部により予測された前記ルールブックサイズの前記最大値を超える場合、
前記プロセッサは、前記画像センサにより取得された前記画像データを対象として前記スパース畳み込み処理を実行せずに廃棄し、
前記電力量制御部は、前記プロセッサに供給する電力量を増加させるための前記制御信号を出力する、情報処理装置。
【請求項７】
請求項１～４のいずれか１項に記載の情報処理装置であって、
前記制御信号は、
前記プロセッサの動作周波数を制御するための制御信号と、
パワーゲーティングを制御するための制御信号と、
前記プロセッサの電源電圧を制御するための制御信号と、
のうちで、少なくとも１つを含む、情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本開示は、情報処理装置に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
畳み込みニューラルネットワーク（ＣｏｎｖｏｌｕｔｉｏｎＮｅｕｒａｌＮｅｔｗｏｒｋ，ＣＮＮ）を用いた画像処理として、スパース畳み込み（ＳｐａｒｓｅＣｏｎｖｏｌｕｔｉｏｎ）が知られている（例えば非特許文献１）。スパース畳み込みでは、入力された画像データの要素と、畳み込みに用いられるカーネル（フィルタ）の要素と、畳み込みにより出力されるデータの要素と、を紐づけたルールブックが生成され、ＮＰＵ（ＮｅｕｒａｌｎｅｔｗｏｒｋＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）がルールブックに従ってスパース畳み込み処理を実行する。
【先行技術文献】
【特許文献】
【０００３】
Zhiliang Zhou, "How does sparse convolution work?", ［令和４年８月９日検索］、インターネット［URL：https://towardsdatascience.com/how-does-sparse-convolution-work-3257a0a8fd1］
【発明の概要】
【発明が解決しようとする課題】
【０００４】
スパース畳み込み処理を行う情報処理装置がイベントカメラ等のセンサにより時系列的に取得されたデータを処理する場合、ＮＰＵに入力されるデータレートが変動するため、ＮＰＵで処理すべきルールブックサイズも変動する。したがって、ＮＰＵの処理負荷が変動するため、ＮＰＵに供給される電力量の最適化が困難であった。具体的には、ＮＰＵの最大負荷を想定して供給電力量を設定すると、ＮＰＵに加えられる負荷が小さい場合に、余剰電力が生じる。他方で、平均負荷を想定して供給電力量を設定すると、ＮＰＵに加えられる負荷が平均負荷よりも大きくなった場合に、電力不足が生じる。
【課題を解決するための手段】
【０００５】
本開示は、以下の形態として実現することが可能である。
【０００６】
本開示の一形態によれば、画像センサ（１０）により時系列的に取得される画像データを対象に、スパース畳み込み処理を行う情報処理装置（１００、１００ｂ）が提供される。この情報処理装置は、前記スパース畳み込み処理の演算を実行するプロセッサ（２）と、前記画像センサにより取得される前記画像データのデータレートを用いて、前記スパース畳み込み処理におけるルールブックサイズを予測するサイズ予測部（５）と、前記サイズ予測部による予測の結果に応じて、前記プロセッサに供給される電力量を制御するための制御信号を前記プロセッサに出力する電力量制御部（６）と、を備える。
【０００７】
この形態の情報処理装置によれば、サイズ予測部は、画像センサにより取得された画像データのデータレートを用いてスパース畳み込み処理におけるルールブックサイズを予測し、電力量制御部は、サイズ予測部による予測の結果に応じてプロセッサに供給される電力量を制御するための制御信号をプロセッサに出力するので、プロセッサにおけるスパース畳み込み処理の演算量に応じて、プロセッサに供給される電力量を最適化できる。
【図面の簡単な説明】
【０００８】
本開示の第１実施形態における、情報処理装置の概略構成を示すブロック図である。
第１実施形態における電力量制御処理の手順を示すフローチャートである。
本開示の第２実施形態における、情報処理装置の概略構成を示すブロック図である。
第２実施形態における電力量制御処理の手順を示すフローチャートである。
第３実施形態における電力量制御処理の手順を示すフローチャートである。
第４実施形態における電力量制御処理の手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
Ａ．第１実施形態：
Ａ１．装置構成：
図１に示す情報処理装置１００は、画像センサ１０により取得された画像データを対象にスパース畳み込み処理を実行する。情報処理装置１００は、車両、無人搬送車、ロボット等の移動体に搭載される。画像センサ１０は、イベントカメラ、ＬｉＤＡＲ（ＬｉｇｈｔＤｅｔｅｃｔｉｏｎＡｎｄＲａｎｇｉｎｇ）、ＲＧＢ－Ｄカメラ等、スパース畳み込み処理可能なデータを時系列的に出力するセンサである。スパース畳み込み処理された画像データは、自動運転における物体認識や物体との距離推定等の任意のアプリケーションに用いられる。情報処理装置１００は、入出力インターフェース部（Ｉ／Ｆ）部１と、ＮＰＵ（ＮｅｕｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２と、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）３と、メモリ４と、を備える。入出力Ｉ／Ｆ部１と、ＮＰＵ２と、ＣＰＵ３と、メモリ４とは、いずれもバス７を介して、互いに通信可能に構成されている。
【００１０】
入出力Ｉ／Ｆ部１は、画像センサ１０と電気的に接続するためのインターフェース群を有する。画像センサ１０により取得された画像データは、入出力Ｉ／Ｆ部１を介して、情報処理装置１００に入力される。
（【００１１】以降は省略されています）

関連特許