特許ウォッチ

公開番号2024172028
公報種別公開特許公報(A)
公開日2024-12-12
出願番号2023089443
出願日2023-05-31
発明の名称情報処理プログラム、情報処理装置、および情報処理方法
出願人株式会社東芝
代理人弁理士法人酒井国際特許事務所
主分類G06T 7/00 20170101AFI20241205BHJP(計算;計数)
要約【課題】高精度な学習に適した学習データの提供を支援する。
【解決手段】情報処理プログラムは、画像データを取得する画像取得ステップと、画像データに対する時間的要素および空間的要素の少なくとも一方の時間的空間的誤差を校正するために用いる校正パラメータが不明であり時間的空間的誤差が未校正の、複数の点の各々ごとに奥行情報が規定された点群データを取得する点群取得ステップと、画像データと点群データとを含む学習データごとに校正パラメータを算出する校正パラメータ算出ステップと、校正パラメータに基づいて校正パラメータの算出に用いた学習データの有効性を判定する判定ステップと、コンピュータに実行させるための情報処理プログラムである。
【選択図】図1
特許請求の範囲【請求項１】
画像データを取得する画像取得ステップと、
前記画像データに対する時間的要素および空間的要素の少なくとも一方の時間的空間的誤差を校正するために用いる校正パラメータが不明であり前記時間的空間的誤差が未校正の、複数の点の各々ごとに奥行情報が規定された点群データを取得する点群取得ステップと、
前記画像データと前記点群データとを含む学習データごとに前記校正パラメータを算出する校正パラメータ算出ステップと、
前記校正パラメータに基づいて、前記校正パラメータの算出に用いた前記学習データの有効性を判定する判定ステップと、
をコンピュータに実行させるための情報処理プログラム。
続きを表示（約 1,900 文字）【請求項２】
前記校正パラメータ算出ステップは、
前記校正パラメータおよび前記校正パラメータによって表される前記時間的空間的誤差の大きさを表す誤差評価値を算出し、
前記判定ステップは、
前記誤差評価値が高いほど、より低い前記有効性を判定する、
請求項１に記載の情報処理プログラム。
【請求項３】
前記校正パラメータ算出ステップは、
前記点群データを取得した測距センサおよび前記画像データを撮影した撮影センサの各々の、位置姿勢、相対角度、相対距離、角速度、および速度、のうち少なくとも１つ以上に基づいて、前記学習データに含まれる前記画像データと前記点群データとの間の取得タイミングのずれを示す時間オフセットを前記校正パラメータとして算出する、
請求項１に記載の情報処理プログラム。
【請求項４】
前記校正パラメータ算出ステップは、
前記画像データを構成する画素を、該画像データと同じタイミングで取得されたと推測される前記点群データの取得時の測距センサの姿勢情報を用いて、前記学習データに含まれる該画像データまたは該画像データ以外の他の画像データ上に再投影した再投影画素と、該画像データを構成する画素と、の距離、画素値の差、および画素の特徴量の差、の少なくとも１つを表す再投影誤差に基づいて、
前記学習データに含まれる前記画像データと前記点群データとの間の取得タイミングのずれを示す時間オフセット、前記画像データを撮影した撮影センサの構造を示す内部パラメータ、および前記撮影センサと前記測距センサとの間の空間的な関係性を示す外部パラメータ、の少なくとも１つを含む前記校正パラメータを算出する、
請求項１に記載の情報処理プログラム。
【請求項５】
前記校正パラメータ算出ステップは、
前記点群データにより観測される物体の位置情報と、前記画像データにより観測される前記物体の位置情報と、の差分に基づいて、前記学習データに含まれる前記画像データと前記点群データとの間の取得タイミングのずれを示す時間オフセット、前記画像データを撮影した撮影センサの構造を示す内部パラメータ、および前記撮影センサと前記点群データを取得した測距センサとの間の空間的な関係性を示す外部パラメータ、の少なくとも１つを含む前記校正パラメータを算出する、
請求項１に記載の情報処理プログラム。
【請求項６】
前記校正パラメータ算出ステップは、
前記誤差評価値に基づいて、前記誤差評価値によって表される前記時間的空間的誤差が大きいほど低い、前記学習データに対する信頼度を更に算出する、
請求項２に記載の情報処理プログラム。
【請求項７】
前記判定ステップの判定結果を出力する出力制御ステップ、
を含む請求項１に記載の情報処理プログラム。
【請求項８】
前記有効性が所定値以上の前記学習データに含まれる前記画像データおよび前記点群データの少なくとも一方を、該学習データから算出された前記校正パラメータによって校正する校正ステップと、
校正された前記学習データに基づいて、前記画像データから前記画像データを構成する画素ごとの推定奥行情報を出力する学習モデルを学習する学習ステップと、
を含む請求項１に記載の情報処理プログラム。
【請求項９】
前記学習ステップは、
前記有効性が所定値以上の校正された前記学習データに含まれる前記画像データを前記学習モデルに入力し、
前記学習モデルから出力される画素ごとの推定奥行情報と校正された前記学習データに含まれる前記点群データによって規定される点ごとの奥行情報との誤差が最小化されるように前記学習モデルのパラメータを調整する、
請求項８に記載の情報処理プログラム。
【請求項１０】
前記学習ステップは、
校正された前記学習データに含まれる前記画像データを学習モデルに入力し、前記学習モデルから出力される画素ごとの推定奥行情報と校正された前記学習データに含まれる点群データによって規定される点ごとの奥行情報との誤差を算出し、
前記学習データから算出された前記校正パラメータによって表される前記時間的空間的誤差が小さいほど高い信頼度に応じて前記誤差を重み付けした重み付け誤差が最小化されるように前記学習モデルのパラメータを調整する、
請求項９に記載の情報処理プログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、情報処理プログラム、情報処理装置、および情報処理方法に関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
１視点から撮影された画像データと各画素の奥行情報とから構成される複数の学習データからなる学習データセットからその関係性を学習し、１視点の画像データから各画素の奥行情報を推定する技術が提案されている。学習には、撮影センサによって撮影された画像データと、測距センサによって測距された画素ごとに奥行情報を規定した点群データと、の時間的要素および空間的要素の対応関係が正確となるように校正された学習データを用いる必要がある。そこで、校正パラメータを用いて学習データを校正する技術が開示されている。
【０００３】
しかし、従来技術では、校正パラメータを用いても校正しきれない時間的空間的誤差を有する学習データについても校正パラメータを用いて校正し学習に用いており、学習精度が低下する場合があった。すなわち、従来技術では、高精度な学習に適した学習データの提供を支援することは困難であった。
【先行技術文献】
【特許文献】
【０００４】
特表２０２２－５４３０１７号公報
【非特許文献】
【０００５】
Park, Chanoh, et al. "Spatiotemporal camera-LiDAR calibration: A targetless and structureless approach." IEEE Robotics and Automation Letters 5.2 (2020): 1556-1563.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする課題は、高精度な学習に適した学習データを提供可能な、情報処理プログラム、情報処理装置、および情報処理方法を提供することである。
【課題を解決するための手段】
【０００７】
実施形態の情報処理プログラムは、画像データを取得する画像取得ステップと、前記画像データに対する時間的要素および空間的要素の少なくとも一方の時間的空間的誤差を校正するために用いる校正パラメータが不明であり前記時間的空間的誤差が未校正の、複数の点の各々ごとに奥行情報が規定された点群データを取得する点群取得ステップと、前記画像データと前記点群データとを含む学習データごとに前記校正パラメータを算出する校正パラメータ算出ステップと、前記校正パラメータに基づいて、前記校正パラメータの算出に用いた前記学習データの有効性を判定する判定ステップと、をコンピュータに実行させるための情報処理プログラムである。
【図面の簡単な説明】
【０００８】
情報処理システムの模式図。
時間オフセットの適用前の波形の模式図。
時間オフセットの適用後の波形の模式図。
再投影誤差のイメージ図。
校正パラメータの適用前の位置の軌跡のイメージ図。
校正パラメータの適用後の位置の軌跡のイメージ図。
学習データの有効性判定処理の流れを示すフローチャート。
学習処理の流れを示すフローチャート。
ハードウェア構成図。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して、情報処理プログラム、情報処理装置、および情報処理方法を詳細に説明する。
【００１０】
図１は、本実施形態の情報処理システム１の一例の模式図である。
（【００１１】以降は省略されています）

関連特許