特許ウォッチ

公開番号2025016131
公報種別公開特許公報(A)
公開日2025-01-31
出願番号2023119198
出願日2023-07-21
発明の名称学習システム、方法、及び、プログラム、並びに、領域推定システム
出願人トヨタ自動車株式会社
代理人個人
主分類G06T 7/00 20170101AFI20250124BHJP(計算;計数)
要約【課題】推定モデルの機械学習に用いる学習用データセットを効率的に生成することにより、撮影画像内の物体の裏側の領域を含めて通行可能な領域を精度よく推定すること。
【解決手段】学習システム(1)は、仮想空間(3)内の任意の位置に配置された物体(31)の配置情報(41)を用いて、任意の撮影位置からの視点で物体の裏側となる地点における移動体の通行可否に関する情報を含む正解ラベル画像(1513)を生成する生成部(143)と、撮影位置から物体を含む撮影領域が撮影された色情報画像(1511)と、撮影位置から撮影領域への深度画像(1512)と、正解ラベル画像(1513)とを用いて、撮影領域の中から移動体の通行可能領域を推定する推定モデル(160)を学習する学習部(144)と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
仮想空間内の任意の位置に配置された物体の配置情報を用いて、任意の撮影位置からの視点で前記物体の裏側となる地点における移動体の通行可否に関する情報を含む正解ラベル情報を生成する生成部と、
前記撮影位置から前記物体を含む撮影領域が撮影された色情報画像と、当該撮影位置から当該撮影領域への奥行情報と、前記正解ラベル情報とを用いて、当該撮影領域の中から前記移動体の通行可能領域を推定する推定モデルを学習する学習部と、
を備える学習システム。
続きを表示（約 1,100 文字）【請求項２】
前記生成部は、前記撮影領域の中で前記物体に該当する物体領域のうち、前記配置情報に基づき前記物体を上面視した際の水平投影面以外の領域を少なくとも、前記撮影位置からの視点で前記物体の裏側となる地点とみなして前記正解ラベル情報を生成する
請求項１に記載の学習システム。
【請求項３】
前記生成部は、前記物体領域のうち、前記配置情報に基づき特定される前記物体の接地面を少なくとも通行不可とし、前記水平投影面以外の領域を少なくとも通行可能として前記正解ラベル情報を生成する
請求項２に記載の学習システム。
【請求項４】
前記生成部は、前記物体領域のうち、前記接地面を含む前記水平投影面の領域を通行不可として前記正解ラベル情報を生成する
請求項３に記載の学習システム。
【請求項５】
前記生成部は、前記物体領域に含まれる各地点について、前記撮影位置からの視点で前記物体の裏側となるか否かにより、前記通行可否に関する異なるラベルが付与されるように、前記正解ラベル情報を生成する
請求項２に記載の学習システム。
【請求項６】
前記生成部は、前記撮影位置から前記撮影領域が撮影された画像の各画素について前記通行可否に関するラベルが付与された通行可能領域画像を、前記正解ラベル情報として生成する
請求項１又は２に記載の学習システム。
【請求項７】
前記生成部は、前記配置情報から、前記仮想空間内の前記物体を含む平面配置情報を特定し、当該平面配置情報を用いて前記撮影位置からの視点となるような前記通行可能領域画像を生成する
請求項６に記載の学習システム。
【請求項８】
前記生成部は、前記物体の裏側となる地点に、前記通行可否の確認が必要な旨を示すラベルが付与されるように、前記正解ラベル情報を生成する
請求項１又は２に記載の学習システム。
【請求項９】
前記学習部は、前記色情報画像と前記奥行情報とを入力データとし、前記正解ラベル情報を正解データとした学習用データセットを用いて、前記推定モデルに対する機械学習を行う
請求項１又は２に記載の学習システム。
【請求項１０】
前記仮想空間内に前記物体を任意の位置に配置し、撮影装置を前記撮影位置に配置する配置部と、
前記撮影装置により前記撮影位置から前記撮影領域が撮影された前記色情報画像を取得し、前記撮影位置から前記撮影領域までの距離が測定された深度画像を前記奥行情報として取得する取得部と、
をさらに備える
請求項１又は２に記載の学習システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、学習システム、方法、及び、プログラム、並びに、領域推定システムに関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
近年、所定の交通環境に対する撮影画像から車両等の通行可能領域を推定するために、ニューラルネットワーク等のＡＩ（Artificial Intelligence）の推定モデルの活用が求められている。そして、推定モデルの推定精度を向上させるために、交通環境における撮影画像などの教師データを用いて推定モデルを機械学習することが行われている。
【０００３】
特許文献１には、教師データ生成装置に関する技術が開示されている。教師データ生成装置は、車両に搭載したカメラ等で収集した外部環境情報（撮影画像）を取得する。その後、車両が撮影画像内の路面領域に対応する実際の領域について回避動作をすることなく通行できた場合、教師データ生成装置は、通過可能を示すラベルを撮影画像に付す。一方、車両が上記路面領域について回避動作をした場合、教師データ生成装置は、ラベルを撮影画像に付与しない、又は、通過不可の旨のラベルを撮影画像に付与する。
【先行技術文献】
【特許文献】
【０００４】
国際公開第２０１９／１１６４２３号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、特許文献１にかかる技術は、車両が実際に走行することにより、路面領域の通行可否を判別するものである。そのため、撮影画像に含まれる障害物の裏側の領域について通行可否を判別するためには、車両が実際に走行するか、裏側の領域を撮影する必要がある。しかしながら、あらゆる地点について実際に車両を走行させることや、撮影することには限界がある。そのため、路面領域の通行可否を精度良く推定するために推定モデルを機械学習することが困難であるという問題点がある。
【０００６】
本開示は、このような問題を解決するためになされたものであり、推定モデルの機械学習に用いる学習用データセットを効率的に生成することにより、撮影画像内の物体の裏側の領域を含めて通行可能な領域を精度よく推定するものである。
【課題を解決するための手段】
【０００７】
本開示の第１の態様にかかる学習システムは、仮想空間内の任意の位置に配置された物体の配置情報を用いて、任意の撮影位置からの視点で前記物体の裏側となる地点における移動体の通行可否に関する情報を含む正解ラベル情報を生成する生成部と、前記撮影位置から前記物体を含む撮影領域が撮影された色情報画像と、当該撮影位置から当該撮影領域への奥行情報と、前記正解ラベル情報とを用いて、当該撮影領域の中から前記移動体の通行可能領域を推定する推定モデルを学習する学習部と、を備える。
【０００８】
このように本態様は、仮想空間における物体の配置情報を用いることで、任意の撮影位置からの視点であっても物体の裏側に隠れた地点か否かを識別できるため、移動体の通行可否を精度良くラベル付けした正解ラベル情報を生成することができる。そのため、同じ視点からの撮影画像と正解ラベル情報の組を学習用データセットとして効率的に生成することができる。このような学習用データセットを用いて機械学習された推定モデルを用いることにより、撮影画像内の物体の裏側の領域を含めて通行可能な領域を精度よく推定することができる。
【０００９】
また、前記生成部は、前記撮影領域の中で前記物体に該当する物体領域のうち、前記配置情報に基づき前記物体を上面視した際の水平投影面以外の領域を少なくとも、前記撮影位置からの視点で前記物体の裏側となる地点とみなして前記正解ラベル情報を生成することが望ましい。このように、任意の撮影位置からの視点では物体領域と見える領域であっても、配置情報により物体を上面視した際の水平投影面を識別できるため、少なくとも水平投影面以外の領域について移動体の通行可否を精度良くラベル付けすることができる。
【００１０】
さらに、前記生成部は、前記物体領域のうち、前記配置情報に基づき特定される前記物体の接地面を少なくとも通行不可とし、前記水平投影面以外の領域を少なくとも通行可能として前記正解ラベル情報を生成するとよい。任意の撮影位置からの視点では物体領域であっても、配置情報において接地面であれば移動体の通行が少なくとも不可であり、一方、水平投影面以外の領域は少なくとも通行可能である確率が高い。よって、精度の高い正解ラベル情報を生成することができる。
（【００１１】以降は省略されています）

関連特許