特許ウォッチ

公開番号2025012363
公報種別公開特許公報(A)
公開日2025-01-24
出願番号2023115141
出願日2023-07-13
発明の名称モデル生成方法、モデル生成装置、EVSカメラ、カメラシステム
出願人ソニーセミコンダクタソリューションズ株式会社
代理人弁理士法人テクノピア国際特許事務所
主分類H04N 23/60 20230101AFI20250117BHJP(電気通信技術)
要約【課題】EVSカメラについて、使用環境に応じた適切なセンサパラメータの導出に要するコストの削減を図る。
【解決手段】本技術に係るモデル生成方法は、EVSを有するEVSカメラの使用環境とEVSのセンサパラメータとの組み合わせを異ならせた複数の試行条件ごとにEVSによるイベント検出動作を実行させた際のEVSのセンサ特性を評価して得られる、試行条件ごとのセンサ特性評価情報と、試行条件ごとの使用環境、センサパラメータをそれぞれ示す使用環境情報、パラメータ情報とに基づき、目標とするセンサ特性である目標センサ特性の情報と使用環境の指定情報との入力に対して指定情報が示す使用環境下で目標センサ特性を実現するためのセンサパラメータを導出するパラメータ導出モデルを生成する処理を、情報処理装置が実行する。
【選択図】図8
特許請求の範囲【請求項１】
ＥＶＳを有するＥＶＳカメラの使用環境と前記ＥＶＳのセンサパラメータとの組み合わせを異ならせた複数の試行条件ごとに前記ＥＶＳによるイベント検出動作を実行させた際の前記ＥＶＳのセンサ特性を評価して得られる、前記試行条件ごとのセンサ特性評価情報と、前記試行条件ごとの前記使用環境、前記センサパラメータをそれぞれ示す使用環境情報、パラメータ情報とに基づき、目標とする前記センサ特性である目標センサ特性の情報と前記使用環境の指定情報との入力に対して前記指定情報が示す使用環境下で前記目標センサ特性を実現するための前記センサパラメータを導出するパラメータ導出モデルを生成する処理を、情報処理装置が実行する
モデル生成方法。
続きを表示（約 1,600 文字）【請求項２】
前記パラメータ導出モデルの生成を、
前記試行条件ごとの前記使用環境情報及び前記センサ特性評価情報を学習用入力データとし、前記試行条件ごとの前記パラメータ情報を教師データとした機械学習によって行う
請求項１に記載のモデル生成方法。
【請求項３】
前記使用環境情報は、前記ＥＶＳカメラの被写体に係る情報を含む
請求項１に記載のモデル生成方法。
【請求項４】
前記センサパラメータは、イベントの検出閾値、対数変換部のＬＰＦ特性、バッファ部のＨＰＦ特性の少なくとも何れかに係るパラメータを含む
請求項１に記載のモデル生成方法。
【請求項５】
前記センサ特性は、コントラスト閾値、イベント出力のレイテンシー、画素の不感期間、バックグラウンドノイズの少なくとも何れかに係る特性を含む
請求項１に記載のモデル生成方法。
【請求項６】
ＥＶＳカメラを用いて、前記試行条件ごとの前記センサ特性を評価して前記試行条件ごとのセンサ特性評価情報を得ると共に、前記試行条件ごとの前記使用環境情報、前記パラメータ情報と、前記試行条件ごとのセンサ特性評価情報とに基づき、前記パラメータ導出モデルを生成するための学習用データセットを生成する
請求項１に記載のモデル生成方法。
【請求項７】
前記パラメータ導出モデルにより導出された前記センサパラメータが設定されるＥＶＳカメラについて前記センサ特性を評価して得られるモデル特性評価情報と、当該ＥＶＳカメラの使用環境情報と、前記モデル特性評価情報を評価した際に当該ＥＶＳカメラにおいて設定されていた前記センサパラメータの情報と、を再学習用データとして用いて前記パラメータ導出モデルの再学習を行う
請求項１に記載のモデル生成方法。
【請求項８】
ＥＶＳを有するＥＶＳカメラの使用環境と前記ＥＶＳのセンサパラメータとの組み合わせを異ならせた複数の試行条件ごとに前記ＥＶＳによるイベント検出動作を実行させた際の前記ＥＶＳのセンサ特性を評価して得られる、前記試行条件ごとのセンサ特性評価情報と、前記試行条件ごとの前記使用環境、前記センサパラメータをそれぞれ示す使用環境情報、パラメータ情報とに基づき、目標とする前記センサ特性である目標センサ特性の情報と前記使用環境の指定情報との入力に対して前記指定情報が示す使用環境下で前記目標センサ特性を実現するための前記センサパラメータを導出するパラメータ導出モデルを生成するための制御を行う、モデル生成制御部を備えた
モデル生成装置。
【請求項９】
ＥＶＳと、
ＥＶＳを有するＥＶＳカメラの使用環境と前記ＥＶＳのセンサパラメータとの組み合わせを異ならせた複数の試行条件ごとに前記ＥＶＳによるイベント検出動作を実行させた際の前記ＥＶＳのセンサ特性を評価して得られる、前記試行条件ごとのセンサ特性評価情報と、前記試行条件ごとの前記使用環境、前記センサパラメータをそれぞれ示す使用環境情報、パラメータ情報とに基づき、目標とする前記センサ特性である目標センサ特性の情報と前記使用環境の指定情報との入力に対して前記指定情報が示す使用環境下で前記目標センサ特性を実現するための前記センサパラメータを導出するように生成されたパラメータ導出モデルにより導出された前記センサパラメータを前記ＥＶＳに設定する制御を行うカメラ制御部と、を備えた
ＥＶＳカメラ。
【請求項１０】
前記使用環境を示す使用環境情報を検出する環境情報検出部を備え、
前記カメラ制御部は、
前記環境情報検出部が検出した前記使用環境情報に基づき前記パラメータ導出モデルが導出した前記センサパラメータを前記ＥＶＳに設定する制御を行う
請求項９に記載のＥＶＳカメラ。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本技術は、モデル生成方法、モデル生成装置、ＥＶＳカメラ、カメラシステムに関するものであり、特には、ＥＶＳの適切なセンサパラメータの導出に係る技術に関する。
続きを表示（約 2,700 文字）【背景技術】
【０００２】
例えば、下記特許文献１等に開示されるように、受光量が所定態様で変化したことをイベントとして検出するＥＶＳ（Event-based Vision Sensor）が知られている。ＥＶＳは、イメージセンサ、すなわち、画素ごとに受光量を所定階数の階調値により示す画像である階調画像を得るセンサと比較して、対象の検出速度を高めることができるため、監視カメラの用途や、高速移動物体の計測用途（速度の計測等）、高速回転体の計測用途（振動周波数の計測等）等への適用が考えられている。
【０００３】
なお、関連する従来技術については下記特許文献２も挙げることができる。特許文献２には、ＥＶＳについて、イベントの検出数に応じてイベントの検出感度を調整する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０２２－１０８３２９号公報
特開２０２１－１９７７１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、ＥＶＳについては、どのようなシーンにおいてどのような被写体を対象とするかといった使用環境の変化に対し、適切なセンサパラメータ、換言すれば、目標とするセンサ特性を実現できるセンサパラメータが異なることが知られており、使用環境に応じて、適切なセンサパラメータに調整できることが望まれている。
【０００６】
現状では、使用環境に応じた適切なセンサパラメータの導出は、センサ特性を評価指標として、人手により行うという手法が採られている。
しかしながら、ＥＶＳにおいて、センサパラメータとセンサ特性との間には複雑な相関があり、人手による導出手法では適切なセンサパラメータの導出に多大な労力と時間を要してしまう。
【０００７】
本技術は上記事情に鑑み為されたものであり、ＥＶＳカメラについて、使用環境に応じた適切なセンサパラメータの導出に要するコストの削減を図ることを目的とする。
【課題を解決するための手段】
【０００８】
本技術に係るモデル生成方法は、ＥＶＳを有するＥＶＳカメラの使用環境と前記ＥＶＳのセンサパラメータとの組み合わせを異ならせた複数の試行条件ごとに前記ＥＶＳによるイベント検出動作を実行させた際の前記ＥＶＳのセンサ特性を評価して得られる、前記試行条件ごとのセンサ特性評価情報と、前記試行条件ごとの前記使用環境、前記センサパラメータをそれぞれ示す使用環境情報、パラメータ情報とに基づき、目標とする前記センサ特性である目標センサ特性の情報と前記使用環境の指定情報との入力に対して前記指定情報が示す使用環境下で前記目標センサ特性を実現するための前記センサパラメータを導出するパラメータ導出モデルを生成する処理を、情報処理装置が実行するモデル生成方法である。
上記のようなパラメータ導出モデルを用いることで、想定するＥＶＳカメラの使用環境下において目標センサ特性を実現するためのセンサパラメータの導出を、人手により行う必要を無くすことが可能となる。一部を人手で行うとしても、少なくとも調整の支援を行うことが可能である。
【図面の簡単な説明】
【０００９】
本技術に係るパラメータ導出手法の概要を説明するための図である。
実施形態としての学習用データ生成システムの構成例を示した図である。
学習用データ生成に用いるＥＶＳカメラの構成例を示した図である。
ＥＶＳが備える画素の構成例を示した図である。
実施形態におけるＥＶＳが備える出力制御・リセット回路の内部構成例を説明するための図である。
実施形態における使用環境情報、センサ特性情報を例示した図である。
実施形態におけるセンサパラメータの例を示した図である。
実施形態としてのモデル生成装置の構成例を示した図である。
妥協案情報の出力についての説明図である。
実施形態における妥協案情報の例を示した図である。
実施形態としてのＥＶＳカメラの構成例を説明するための図である。
実施形態としてのパラメータ設定のための処理を例示したフローチャートである。
図１２に示すパラメータ導出制御処理のフローチャートである。
第一ユースケースについての説明図である。
第一ユースケースにおいて用いるセンサ特性情報、使用環境情報、センサパラメータ、及び妥協案情報の各情報を例示した図である。
第二ユースケースについての説明図である。
第二ユースケースにおいて用いるセンサ特性情報、使用環境情報、センサパラメータ、及び妥協案情報の各情報を例示した図である。
第三ユースケースについての説明図である。
第三ユースケースにおいて用いるセンサ特性情報、使用環境情報、センサパラメータ、及び妥協案情報の各情報を例示した図である。
第四ユースケースについての説明図である。
第四ユースケースにおいて用いるセンサ特性情報、使用環境情報、センサパラメータ、及び妥協案情報の各情報を例示した図である。
パラメータ導出モデルの再学習を行う場合に用いるべきＥＶＳカメラの構成例を示した図である。
パラメータ導出モデルの再学習を行う場合に用いるべきサーバ装置の構成例を示した図である。
変形例としてのＥＶＳカメラの構成例を示した図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。
＜１．実施形態としてのパラメータ導出手法＞
［1-1．導出手法の概要］
［1-2．学習用データ生成システム］
［1-3．学習用データ生成に用いるＥＶＳカメラ］
［1-4．使用環境情報、センサ特性情報の例］
［1-5．学習用データセットの生成手法］
［1-6．パラメータ導出モデルの生成］
［1-7．実施形態としてのパラメータ導出モデル］
［1-8．実施形態としてのＥＶＳカメラ］
［1-9．パラメータ設定のための処理］
［1-10．適用例］
＜２．変形例＞
＜３．実施形態のまとめ＞
＜４．本技術＞
（【００１１】以降は省略されています）

関連特許