特許ウォッチ

公開番号2025131122
公報種別公開特許公報(A)
公開日2025-09-09
出願番号2024028661
出願日2024-02-28
発明の名称学習システム、学習方法、学習プログラム、画像生成システム及び推定システム
出願人トヨタ自動車株式会社
代理人個人
主分類G06T 1/00 20060101AFI20250902BHJP(計算;計数)
要約【課題】長さの単位で表し得る距離情報を有する深度画像の推定精度を向上させることが可能な学習システム、学習方法及び学習プログラムを提供すること。
【解決手段】学習システム10は、撮影画像を入力情報とし、絶対深度画像を出力情報とする絶対深度画像推定モデル102と、先行の撮影画像と後続の撮影画像を入力情報とし、先行の撮影画像を撮影したときの撮影装置の位置及び姿勢と、後続の撮影画像を撮影したときの撮影装置の位置及び姿勢の変化量を表す変化量パラメータを出力情報とするパラメータ推定モデル103と、絶対深度画像と、変化量パラメータと、後続の撮影画像の色情報を用いて、先行の撮影画像を再構成する画像再構成部104とを含む。絶対深度画像推定モデル102及びパラメータ推定モデル103は、第1の損失、第2の損失及び第3の損失を低減するように学習される。
【選択図】図1
特許請求の範囲【請求項１】
機械学習によって推定モデルを学習させるための学習システムであって、
撮影画像を入力情報とし、長さの単位で表し得る距離情報を有する深度画像である絶対深度画像を出力情報とする絶対深度画像推定モデルと、
先行の撮影画像と前記先行の撮影画像に時間的に連続する後続の撮影画像を入力情報とし、前記先行の撮影画像を撮影したときの撮影装置の位置及び姿勢と、前記後続の撮影画像を撮影したときの撮影装置の位置及び姿勢の変化量を表す変化量パラメータを出力情報とするパラメータ推定モデルと、
前記絶対深度画像推定モデルが出力した、前記先行の撮影画像に対応する絶対深度画像と、前記パラメータ推定モデルが出力した、前記先行の撮影画像及び前記後続の撮影画像に対応する変化量パラメータと、前記後続の撮影画像の色情報を用いて、前記先行の撮影画像を再構成する画像再構成部とを含み、
前記絶対深度画像推定モデル及び前記パラメータ推定モデルは、第１の損失、第２の損失及び第３の損失を低減するように学習され、
前記第１の損失は、前記画像再構成部によって再構成されていない前記先行の撮影画像と、前記画像再構成部によって再構成された先行の撮影画像との測光的誤差であり、
前記第２の損失は、長さの単位で表されない距離情報を有する、前記先行の撮影画像の深度画像である相対深度画像と、前記絶対深度画像推定モデルが出力した、前記先行の撮影画像に対応する絶対深度画像との幾何的な整合性に基づく損失であり、
前記第３の損失は、前記先行の撮影画像を撮影したときの撮影装置の位置と、前記後続の撮影画像を撮影したときの前記撮影装置の位置との間の距離と、前記パラメータ推定モデルが出力した前記先行の撮影画像と前記後続の撮影画像に対応する変化量パラメータが示す前記撮影装置の位置の変化量に相当する距離との差である、
学習システム。
続きを表示（約 2,400 文字）【請求項２】
機械学習によって推定モデルを学習させるための学習方法であって、コンピュータが、
撮影画像を入力情報とし、長さの単位で表し得る距離情報を有する深度画像である絶対深度画像を出力情報とする絶対深度画像推定モデルを用いて、前記絶対深度画像を出力し、
先行の撮影画像と前記先行の撮影画像に時間的に連続する後続の撮影画像を入力情報とし、前記先行の撮影画像を撮影したときの撮影装置の位置及び姿勢と、前記後続の撮影画像を撮影したときの撮影装置の位置及び姿勢の変化量を表す変化量パラメータを出力情報とするパラメータ推定モデルを用いて、前記変化量パラメータを出力し、
前記絶対深度画像推定モデルを用いて出力された、前記先行の撮影画像に対応する絶対深度画像と、前記パラメータ推定モデルを用いて出力された、前記先行の撮影画像及び前記後続の撮影画像に対応する変化量パラメータと、前記後続の撮影画像の色情報を用いて、前記先行の撮影画像を再構成し、
第１の損失、第２の損失及び第３の損失を低減するように、前記絶対深度画像推定モデル及び前記パラメータ推定モデルを学習させ、
前記第１の損失は、再構成されていない前記先行の撮影画像と、再構成された先行の撮影画像との測光的誤差であり、
前記第２の損失は、長さの単位で表されない距離情報を有する、前記先行の撮影画像の深度画像である相対深度画像と、前記絶対深度画像推定モデルを用いて出力された、前記先行の撮影画像に対応する絶対深度画像との幾何的な整合性に基づく損失であり、
前記第３の損失は、前記先行の撮影画像を撮影したときの撮影装置の位置と、前記後続の撮影画像を撮影したときの前記撮影装置の位置との間の距離と、前記パラメータ推定モデルを用いて出力された前記先行の撮影画像と前記後続の撮影画像に対応する変化量パラメータが示す前記撮影装置の位置の変化量に相当する距離との差である、
学習方法。
【請求項３】
機械学習によって推定モデルを学習させるための学習プログラムであって、コンピュータに対し、
撮影画像を入力情報とし、長さの単位で表し得る距離情報を有する深度画像である絶対深度画像を出力情報とする絶対深度画像推定モデルを用いて、前記絶対深度画像を出力するステップと、
先行の撮影画像と前記先行の撮影画像に時間的に連続する後続の撮影画像を入力情報とし、前記先行の撮影画像を撮影したときの撮影装置の位置及び姿勢と、前記後続の撮影画像を撮影したときの撮影装置の位置及び姿勢の変化量を表す変化量パラメータを出力情報とするパラメータ推定モデルを用いて、前記変化量パラメータを出力するステップと、
前記絶対深度画像推定モデルを用いて出力された、前記先行の撮影画像に対応する絶対深度画像と、前記パラメータ推定モデルを用いて出力された、前記先行の撮影画像及び前記後続の撮影画像に対応する変化量パラメータと、前記後続の撮影画像の色情報を用いて、前記先行の撮影画像を再構成するステップと、
第１の損失、第２の損失及び第３の損失を低減するように、前記絶対深度画像推定モデル及び前記パラメータ推定モデルを学習させるステップと
を実行させ、
前記第１の損失は、再構成されていない前記先行の撮影画像と、再構成された先行の撮影画像との測光的誤差であり、
前記第２の損失は、長さの単位で表されない距離情報を有する、前記先行の撮影画像の深度画像である相対深度画像と、前記絶対深度画像推定モデルを用いて出力された、前記先行の撮影画像に対応する絶対深度画像との幾何的な整合性に基づく損失であり、
前記第３の損失は、前記先行の撮影画像を撮影したときの撮影装置の位置と、前記後続の撮影画像を撮影したときの前記撮影装置の位置との間の距離と、前記パラメータ推定モデルを用いて出力された前記先行の撮影画像と前記後続の撮影画像に対応する変化量パラメータが示す前記撮影装置の位置の変化量に相当する距離との差である、
学習プログラム。
【請求項４】
撮影画像を入力情報とし、長さの単位で表し得る距離情報を有する深度画像である絶対深度画像を出力情報とする絶対深度画像推定モデルと、
前記絶対深度画像推定モデルに入力された撮影画像と、前記絶対深度画像推定モデルが出力した前記絶対深度画像を用いて、前記撮影画像の色情報を３次元空間に逆射影して、３次元点群を生成する３次元点群生成部と、
前記撮影画像を生成した第１の撮影装置と、前記第１の撮影装置と撮影位置が異なる仮想的な第２の撮影装置との距離を示すパラメータと、前記第１の撮影装置の姿勢を基準とした前記仮想的な第２の撮影装置の姿勢の変化量を示すパラメータを用いて、前記３次元点群生成部によって生成された３次元点群の座標を、前記仮想的な第２の撮影装置の位置から見たときの座標に変換する座標変換部と、
前記座標変換部によって座標が変換された３次元点群を射影して、前記仮想的な第２の撮影装置の位置から見たときの画像を生成する新規画像生成部と
を含む、画像生成システム。
【請求項５】
移動体の移動量を推定する推定システムであって、
請求項２に記載の学習方法によって学習されたパラメータ推定モデルを含み、
前記パラメータ推定モデルは、移動体に搭載された撮影装置が生成した前記先行の撮影画像及び前記後続の撮影画像に対応する変化量パラメータを出力し、
前記変化量パラメータが示す前記撮影装置の位置の変化量は、前記移動体の移動量を表す
推定システム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、機械学習による学習システム、学習方法、学習プログラム、画像生成システム及び推定システムに関する。
続きを表示（約 3,900 文字）【背景技術】
【０００２】
従来、撮影画像から深度画像を生成する種々の技術が提案されている。このような技術に関し、特許文献１が開示する学習データ生成システムは、対象画像及び対象画像のデプスマップを用いてサンプル画像を生成し、サンプル画像に含まれるピクセルの深度値を推定してサンプル画像に対するデプスマップを生成し、当該デプスマップを用いて学習データの少なくとも一部を生成する学習データ生成方法を開示している。
【先行技術文献】
【特許文献】
【０００３】
特許第７２８５９８６号公報
【非特許文献】
【０００４】
Wei Yin、外６名、“Learning to Recover 3D Scene Shape from a Single Image”、［online］、［令和６年２月２７日］、インターネット（https://openaccess.thecvf.com/content/CVPR2021/papers/Yin_Learning_To_Recover_3D_Scene_Shape_From_a_Single_Image_CVPR_2021_paper.pdf）
Clement Godard、外３名、“Digging Into Self-Supervised Monocular Depth Estimation”、［online］、［令和６年１月２４日］、インターネット（URL:https://openaccess.thecvf.com/content_ICCV_2019/papers/Godard_Digging_Into_Self-Supervised_Monocular_Depth_Estimation_ICCV_2019_paper.pdf）
Libo Sun、外５名、“SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for Dynamic Scenes”、［online］、［令和６年１月２４日］、インターネット（URL:https://arxiv.org/pdf/2211.03660.pdf）
Ke Xian、外５名、“Structure-Guided Ranking Loss for Single Image Depth Prediction”、［online］、［令和６年２月２７日］、インターネット（https://openaccess.thecvf.com/content_CVPR_2020/papers/Xian_Structure-Guided_Ranking_Loss_for_Single_Image_Depth_Prediction_CVPR_2020_paper.pdf）
Vitor Guizilini、外４名、“3D Packing for Self-Supervised Monocular Depth Estimation”、［online］、［令和６年１月２４日］、インターネット（URL:https://openaccess.thecvf.com/content_CVPR_2020/papers/Guizilini_3D_Packing_for_Self-Supervised_Monocular_Depth_Estimation_CVPR_2020_paper.pdf）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１には、撮影画像から長さの単位で表し得る距離情報を有する深度画像を生成する方法が開示されておらず、特許文献１が開示する学習データ生成方法では、そのような深度画像の推定精度を高めることができないという課題があった。
【０００６】
本開示は、長さの単位で表し得る距離情報を有する深度画像の推定精度を向上させることが可能な学習システム、学習方法及び学習プログラムを提供するものである。
【課題を解決するための手段】
【０００７】
本開示に係る機械学習によって推定モデルを学習させるための学習システムは、
撮影画像を入力情報とし、長さの単位で表し得る距離情報を有する深度画像である絶対深度画像を出力情報とする絶対深度画像推定モデルと、
先行の撮影画像と先行の撮影画像に時間的に連続する後続の撮影画像を入力情報とし、先行の撮影画像を撮影したときの撮影装置の位置及び姿勢と、後続の撮影画像を撮影したときの撮影装置の位置及び姿勢の変化量を表す変化量パラメータを出力情報とするパラメータ推定モデルと、
絶対深度画像推定モデルが出力した、先行の撮影画像に対応する絶対深度画像と、パラメータ推定モデルが出力した、先行の撮影画像と後続の撮影画像に対応する変化量パラメータと、後続の撮影画像の色情報を用いて、先行の撮影画像を再構成する画像再構成部とを含み、
絶対深度画像推定モデル及びパラメータ推定モデルは、第１の損失、第２の損失及び第３の損失を低減するように学習される。ここで、第１の損失は、画像再構成部によって再構成されていない先行の撮影画像と、画像再構成部によって再構成された先行の撮影画像との測光的誤差である。第２の損失は、長さの単位で表されない距離情報を有する、先行の撮影画像の深度画像である相対深度画像と、絶対深度画像推定モデルが出力した、先行の撮影画像に対応する絶対深度画像との幾何的な整合性に基づく損失である。第３の損失は、先行の撮影画像を撮影したときの撮影装置の位置と、後続の撮影画像を撮影したときの撮影装置の位置との間の距離と、パラメータ推定モデルが出力した先行の撮影画像と後続の撮影画像に対応する変化量パラメータが示す撮影装置の位置の変化量に相当する距離との差である。
【０００８】
本開示に係る機械学習によって推定モデルを学習させるための学習方法は、コンピュータが、
撮影画像を入力情報とし、長さの単位で表し得る距離情報を有する深度画像である絶対深度画像を出力情報とする絶対深度画像推定モデルを用いて、絶対深度画像を出力し、
先行の撮影画像と先行の撮影画像に時間的に連続する後続の撮影画像を入力情報とし、先行の撮影画像を撮影したときの撮影装置の位置及び姿勢と、後続の撮影画像を撮影したときの撮影装置の位置及び姿勢の変化量を表す変化量パラメータを出力情報とするパラメータ推定モデルを用いて、変化量パラメータを出力し、
絶対深度画像推定モデルを用いて出力された、先行の撮影画像に対応する絶対深度画像と、パラメータ推定モデルを用いて出力された、先行の撮影画像及び後続の撮影画像に対応する変化量パラメータと、後続の撮影画像の色情報を用いて、先行の撮影画像を再構成し、
第１の損失、第２の損失及び第３の損失を低減するように、絶対深度画像推定モデル及びパラメータ推定モデルを学習させる。
【０００９】
本開示に係る機械学習によって推定モデルを学習させるための学習プログラムは、コンピュータに対し、
撮影画像を入力情報とし、長さの単位で表し得る距離情報を有する深度画像である絶対深度画像を出力情報とする絶対深度画像推定モデルを用いて、絶対深度画像を出力するステップと、
先行の撮影画像と先行の撮影画像に時間的に連続する後続の撮影画像を入力情報とし、先行の撮影画像を撮影したときの撮影装置の位置及び姿勢と、後続の撮影画像を撮影したときの撮影装置の位置及び姿勢の変化量を表す変化量パラメータを出力情報とするパラメータ推定モデルを用いて、変化量パラメータを出力するステップと、
絶対深度画像推定モデルを用いて出力された、先行の撮影画像に対応する絶対深度画像と、パラメータ推定モデルを用いて出力された、先行の撮影画像及び後続の撮影画像に対応する変化量パラメータと、後続の撮影画像の色情報を用いて、先行の撮影画像を再構成するステップと、
第１の損失、第２の損失及び第３の損失を低減するように、絶対深度画像推定モデル及びパラメータ推定モデルを学習させるステップとを実行させる。
【００１０】
本開示に係る画像生成システムは、
撮影画像を入力情報とし、長さの単位で表し得る距離情報を有する深度画像である絶対深度画像を出力情報とする絶対深度画像推定モデルと、
絶対深度画像推定モデルに入力された撮影画像と、絶対深度画像推定モデルが出力した絶対深度画像を用いて、撮影画像の色情報を３次元空間に逆射影して、３次元点群を生成する３次元点群生成部と、
撮影画像を生成した第１の撮影装置と、第１の撮影装置と撮影位置が異なる仮想的な第２の撮影装置との距離を示すパラメータと、第１の撮影装置の姿勢を基準とした仮想的な第２の撮影装置の姿勢の変化量を示すパラメータを用いて、３次元点群生成部によって生成された３次元点群の座標を、仮想的な第２の撮影装置の位置から見たときの座標に変換する座標変換部と、
座標変換部によって座標が変換された３次元点群を射影して、仮想的な第２の撮影装置の位置から見たときの画像を生成する新規画像生成部とを含む。
（【００１１】以降は省略されています）

関連特許