特許ウォッチ

公開番号2025157800
公報種別公開特許公報(A)
公開日2025-10-16
出願番号2024060040
出願日2024-04-03
発明の名称学習システム及び学習方法
出願人Astemo株式会社
代理人弁理士法人平木国際特許事務所
主分類G06T 7/00 20170101AFI20251008BHJP(計算;計数)
要約【課題】学習に用いる視差正解値の精度を高めることができ、視差算出モデルの学習精度を向上できる学習システム及び学習方法を提供する。
【解決手段】複数のカメラにより撮像された画像を取得する画像取得部(サーバ側送受信部501)と、複数の共通撮像領域に対して視差算出モデルの学習の実行順序を決定する学習方針決定部504と、決定された実行順序に従って、学習対象の共通撮像領域を有する複数のカメラから取得した画像を視差算出モデルに入力して、得られる視差と正解値データの差から視差算出モデルを学習する視差算出モデル学習部505と、を備え、正解値データは、学習対象の共通撮像領域よりも前の実行順序に割り当てられた共通撮像領域の視差情報を含む。
【選択図】図9
特許請求の範囲【請求項１】
視野の少なくとも一部が重複した共通撮像領域を有する複数のカメラを備えた車両に搭載された車載情報処理装置と、前記車載情報処理装置と通信するサーバ装置と、を含む学習システムであって、
前記複数のカメラにより撮像された画像を取得する画像取得部と、
複数の共通撮像領域に対して視差算出モデルの学習の実行順序を決定する学習方針決定部と、
決定された実行順序に従って、学習対象の共通撮像領域を有する複数のカメラから取得した画像を視差算出モデルに入力して、得られる視差と正解値データの差から視差算出モデルを学習する視差算出モデル学習部と、を備え、
前記正解値データは、学習対象の共通撮像領域よりも前の実行順序に割り当てられた共通撮像領域の視差情報を含む、学習システム。
続きを表示（約 1,900 文字）【請求項２】
請求項１に記載の学習システムであって、
前記学習方針決定部は、
前記複数のカメラの特性及び配置の少なくとも一方に基づいて、複数の共通撮像領域の各々に対して視差の推論難易度を推定し、
前記推定の結果に基づいて、複数の共通撮像領域に対して視差算出モデルの学習の実行順序を決定する、学習システム。
【請求項３】
請求項１に記載の学習システムであって、
前記車両に配置されたLiDARにより取得された点群データに基づいて前記正解値データを生成する視差正解値作成部をさらに備え、
前記学習方針決定部は、前記複数のカメラと前記LiDARとの位置関係に基づいて、複数の共通撮像領域に対して視差算出モデルの学習の実行順序を決定する、学習システム。
【請求項４】
請求項１に記載の学習システムであって、
前記車両に配置されたLiDARにより取得された点群データに基づいて前記正解値データを生成する視差正解値作成部をさらに備え、
前記学習方針決定部は、複数の共通撮像領域の各々に含まれるLiDARの点群データの個数に基づいて、複数の共通撮像領域に対して視差算出モデルの学習の実行順序を決定する、学習システム。
【請求項５】
請求項１に記載の学習システムであって、
前記正解値データは、ルールベースモデル又は特徴点マッチングにより求められた視差の少なくとも一方を含む、学習システム。
【請求項６】
請求項１に記載の学習システムであって、
前記車載情報処理装置が、前記複数のカメラのうち少なくとも一つのカメラが変更されたことを検知すると、変更されたカメラの撮像領域が含まれる共通撮像領域に対する視差算出モデルの再学習を前記サーバ装置に依頼し、
前記サーバ装置が、
前記視差算出モデルを再学習することにより再学習モデルを生成し、
前記再学習モデルを前記車載情報処理装置に配信する、学習システム。
【請求項７】
請求項１に記載の学習システムであって、
前記車載情報処理装置が、前記複数のカメラのうち少なくとも一つのカメラに異常が発生したことを検知すると、異常が検知されたカメラの異常状態を前記サーバ装置に通知し、
前記サーバ装置が、
前記異常状態に基づいて、前記異常が検知されたカメラの撮像領域が含まれる共通撮像領域に対する視差算出モデルの再学習を実行するか否かを判断し、
再学習を実行すると判断した視差算出モデルを再学習することにより再学習モデルを生成し、
前記再学習モデルを前記車載情報処理装置に配信する、学習システム。
【請求項８】
請求項１に記載の学習システムであって、
前記車載情報処理装置が、前記複数のカメラで撮像された複数の画像を前記サーバ装置に送信し、
前記サーバ装置が、
前記複数の画像に基づいて、複数の前記視差算出モデルのうち少なくとも一つの視差算出モデルの学習に使用されていないデータが含まれるか否かを判断し、
複数の前記視差算出モデルのうち少なくとも一つの視差算出モデルの学習に使用されていないデータが含まれる場合に、前記視差算出モデルを再学習することにより再学習モデルを生成し、
前記再学習モデルを前記車載情報処理装置に配信する、学習システム。
【請求項９】
コンピュータにより実行される学習方法であって、
視野の少なくとも一部が重複する共通撮像領域を有する複数のカメラにより撮像された画像を取得するステップと、
複数の共通撮像領域毎に前記画像を用いて視差を推論する視差推論モデルの学習の実行順序を決定するステップと、
決定された実行順序に従って、学習対象の共通撮像領域を有する複数のカメラから取得した画像を視差推論モデルに入力して、得られる視差と正解値データの差から視差推論モデルを学習するステップと、を含み、
前記正解値データは、学習対象の共通撮像領域よりも前の実行順序に割り当てられた共通撮像領域の視差情報を含む、学習方法。
【請求項１０】
請求項９に記載の学習方法であって、
前記複数のカメラの特性及び配置の少なくとも一方に基づいて、複数の共通撮像領域の各々に対して視差の推論難易度を推定するステップを含み、
前記推定の結果に基づいて、複数の共通撮像領域に対して視差推論モデルの学習の実行順序を決定する、学習方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、複数の撮像装置の共通撮像領域で検知対象までの距離を測定する画像処理装置において共通撮像領域の視差を推論する視差推論モデルを学習する学習システム及び学習方法に関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
近年、自動運転や運転支援技術などでは、移動体に複数の撮像装置（カメラ）を設置するマルチカメラシステムが開発されている。マルチカメラシステムにおいて、視野を共有するカメラ間ではステレオ視による測距を実現でき、物体までの正確な距離を推定できる。
【０００３】
ステレオ視による測距では、視野を共有する２台のカメラ（右カメラと左カメラ）で、同一物体が撮像される位置の差である視差を求める。視差は奥行きごとに異なるため、求めた視差から検知した物体までの距離を算出することができる。
【０００４】
従来では、ルールベースの処理により、左右のカメラの撮像画像（左画像と右画像）に対して局所領域ごとの類似度を計算して視差を算出していた。近年では、CNN（Convolutional Neural Network）に代表されるDeep learningの発展に伴って、学習ベースの手法が開発されている。学習ベースでは、複数の撮像画像と正解値となる距離データを用いて、視差算出モデル（視差推論モデルとも称する）を学習する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
特開２０２０－８００４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に、「真の奥行きは、例えばLiDAR（Laser Imaging Detection and Ranging）等の３Ｄセンサで取得することができる。」と記載があるように、従来の学習ベースでは、LiDARなどの測距センサを用いて正解値の距離データを作成する。しかし、一般的には、LiDARの点密度は低く、点密度が低い領域では、学習精度が低下する。
【０００７】
LiDARの点密度を補う方法として、LiDAR以外の方法で作成した追加視差情報の利用が考えられる。追加視差情報の例としては、ルールベースの手法で算出した視差や、特徴点マッチングの結果から算出した視差など、LiDAR以外の方法で取得した視差が挙げられる。また、別の共通撮像領域（重複撮像領域とも称する）で算出した視差（ルールベース視差算出、特徴点マッチング、視差算出モデルなど）を用いることもできる。
【０００８】
しかし、マルチカメラシステムにおいては、長基線、異画角、非平行のカメラペアも存在しており、このようなカメラペアでは、左右画像の形状変化が激しく、正しく追加視差情報を算出できない。誤った追加視差情報を使って視差算出モデルを学習した場合、視差算出モデルの性能を悪化させる可能性がある。
【０００９】
本発明は、上記事情に鑑みてなされたものであり、学習に用いる視差正解値の精度を高めることができ、視差算出モデルの学習精度を向上できる学習システム及び学習方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明に係る学習システムは、視野の少なくとも一部が重複した共通撮像領域を有する複数のカメラを備えた車両に搭載された車載情報処理装置と、前記車載情報処理装置と通信するサーバ装置と、を含む学習システムであって、前記複数のカメラにより撮像された画像を取得する画像取得部と、複数の共通撮像領域に対して視差算出モデルの学習の実行順序を決定する学習方針決定部と、決定された実行順序に従って、学習対象の共通撮像領域を有する複数のカメラから取得した画像を視差算出モデルに入力して、得られる視差と正解値データの差から視差算出モデルを学習する視差算出モデル学習部と、を備え、前記正解値データは、学習対象の共通撮像領域よりも前の実行順序に割り当てられた共通撮像領域の視差情報を含む。
（【００１１】以降は省略されています）

関連特許