特許ウォッチ

公開番号2025068377
公報種別公開特許公報(A)
公開日2025-04-28
出願番号2023178236
出願日2023-10-16
発明の名称方法、装置、コンピュータプログラムおよび学習用データセット
出願人トヨタ自動車株式会社
代理人弁理士法人明成国際特許事務所
主分類G06T 7/00 20170101AFI20250421BHJP(計算;計数)
要約【課題】学習用のデータを用意するための手間を少なくする技術を提供する。
【解決手段】方法は、移動体の移動経路を取得する移動経路取得工程と、移動体を表す画像または三次元データと、移動経路を含む移動環境を表す画像または三次元データとを重ね合わせて重畳画像を生成する重畳画像生成工程と、移動体の位置および向きに関するラベル情報を取得するラベル情報取得工程と、重畳画像とラベル情報とを含む学習用データセットを生成するデータセット生成工程と、を有する。
【選択図】図11
特許請求の範囲【請求項１】
方法であって、
移動体の移動経路を取得する移動経路取得工程と、
前記移動体を表す画像または三次元データと、前記移動経路を含む移動環境を表す画像または三次元データとを重ね合わせて重畳画像を生成する重畳画像生成工程と、
前記移動体の位置および向きに関するラベル情報を取得するラベル情報取得工程と、
前記重畳画像と前記ラベル情報とを含む学習用データセットを生成するデータセット生成工程と、
を有する、方法。
続きを表示（約 1,000 文字）【請求項２】
請求項１に記載の方法であって、
前記重畳画像生成工程に先立って、前記移動環境の画像または三次元データに対して予め定められた加工を施す工程をさらに有する、方法。
【請求項３】
請求項１に記載の方法であって、
前記重畳画像を生成する工程に先立って、前記移動体の画像または三次元データに対して予め定められた加工を施す工程をさらに有する、方法。
【請求項４】
請求項１に記載の方法であって、
前記重畳画像に対して予め定められた加工を施す工程をさらに有する、方法。
【請求項５】
請求項４に記載の方法であって、
前記加工は、前記移動体に照射される光を追加または変更することと、前記移動体の陰影を追加または変更することとの少なくとも一方を含む、方法。
【請求項６】
請求項２から請求項４のいずれか一項に記載の方法であって、
前記加工は、明度と彩度とコントラストとのうちの少なくとも１つを変更することを含む、方法。
【請求項７】
請求項１に記載の方法であって、
前記重畳画像生成工程は、複数回実行され、
前記重畳画像生成工程を複数回実行することにより生成される複数の前記重畳画像のうちの少なくとも２つにおいて、前記移動経路に平行な方向における前記移動体の位置を異ならせる、方法。
【請求項８】
請求項１に記載の方法であって、
前記重畳画像生成工程は、複数回実行され、
前記重畳画像生成工程を複数回実行することにより生成される複数の前記重畳画像のうちの少なくとも２つにおいて、前記移動経路に垂直な方向における前記移動体の位置を異ならせる、方法。
【請求項９】
請求項１に記載の方法であって、
前記重畳画像生成工程は、複数回実行され、
前記重畳画像生成工程を複数回実行することにより生成される複数の前記重畳画像のうちの少なくとも２つにおいて、前記移動経路に対する前記移動体の向きを異ならせる、方法。
【請求項１０】
請求項１に記載の方法であって、
前記重畳画像生成工程は、複数回実行され、
前記重畳画像生成工程を複数回実行することにより生成される複数の前記重畳画像のうちの少なくとも２つにおいて、前記移動体の色を異ならせる、方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、方法、装置、コンピュータプログラムおよび学習用データセットに関する。
続きを表示（約 6,200 文字）【背景技術】
【０００２】
車両の外部に位置しているカメラの撮像画像を用いて、走行中の車両の位置を検出する技術が知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
特表２０１７－５３８６１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
人工知能を用いてカメラの撮像画像から車両等の移動体を検出する場合、人工知能に学習させるためのデータを大量に用意する必要がある。したがって、学習用のデータを用意するための手間を少なくする技術が望まれている。
【課題を解決するための手段】
【０００５】
本開示は、以下の形態として実現することが可能である。
【０００６】
（１）本開示の第１の形態によれば、方法が提供される。この方法は、移動体の移動経路を取得する移動経路取得工程と、前記移動体を表す画像または三次元データと、前記移動経路を含む移動環境を表す画像または三次元データとを重ね合わせて重畳画像を生成する重畳画像生成工程と、前記移動体の位置および向きに関するラベル情報を取得するラベル情報取得工程と、前記重畳画像と前記ラベル情報とを含む学習用データセットを生成するデータセット生成工程と、を有する。
この形態の方法によれば、重畳画像を含む学習用データセットを生成するため、学習用データセットを用意する手間を少なくできる。
（２）上記形態の方法は、前記重畳画像生成工程に先立って、前記移動環境の画像または三次元データに対して予め定められた加工を施す工程をさらに有してもよい。
この形態の方法によれば、所望の状態の重畳画像を含む学習用データセットを生成することができる。
（３）上記形態の方法は、前記重畳画像を生成する工程に先立って、前記移動体の画像または三次元データに対して予め定められた加工を施す工程をさらに有してもよい。
この形態の方法によれば、所望の状態の重畳画像を含む学習用データセットを生成することができる。
（４）上記形態の方法は、前記重畳画像に対して予め定められた加工を施す工程をさらに有してもよい。
この形態の方法によれば、所望の状態の重畳画像を含む学習用データセットを生成することができる。
（５）上記形態の方法において、前記加工は、前記移動体に照射される光を追加または変更することと、前記移動体の陰影を追加または変更することとの少なくとも一方を含んでもよい。
この形態の方法によれば、重畳画像に表された移動体の見た目を異ならせることができる。
（６）上記形態の方法において、前記加工は、明度と彩度とコントラストとのうちの少なくとも１つを変更することを含んでもよい。
この形態の方法によれば、重畳画像に表された移動体や移動環境の見た目を異ならせることができる。
（７）上記形態の方法において、前記重畳画像生成工程は、複数回実行され、前記重畳画像生成工程を複数回実行することにより生成される複数の前記重畳画像のうちの少なくとも２つにおいて、前記移動経路に平行な方向における前記移動体の位置を異ならせてもよい。
この形態の方法によれば、移動経路に平行な方向における移動体の位置が互いに異なる複数の重畳画像を生成することができる。
（８）上記形態の方法において、前記重畳画像生成工程は、複数回実行され、前記重畳画像生成工程を複数回実行することにより生成される複数の前記重畳画像のうちの少なくとも２つにおいて、前記移動経路に垂直な方向における前記移動体の位置を異ならせてもよい。
この形態の方法によれば、移動経路に垂直な方向における移動体の位置が互いに異なる複数の重畳画像を生成することができる。
（９）上記形態の方法において、前記重畳画像生成工程は、複数回実行され、前記重畳画像生成工程を複数回実行することにより生成される複数の前記重畳画像のうちの少なくとも２つにおいて、前記移動経路に対する前記移動体の向きを異ならせてもよい。
この形態の方法によれば、移動経路に対する移動体の向きが互いに異なる複数の重畳画像を生成することができる。
（１０）上記形態の方法において、前記重畳画像生成工程は、複数回実行され、前記重畳画像生成工程を複数回実行することにより生成される複数の前記重畳画像のうちの少なくとも２つにおいて、前記移動体の色を異ならせてもよい。
この形態の方法によれば、移動体の色が互いに異なる複数の重畳画像を生成することができる。
（１１）上記形態の方法において、前記ラベル情報取得工程では、前記移動体の画像または三次元データに紐付く情報から前記ラベル情報を取得してもよい。
この形態の方法によれば、移動体の位置および向きに関する情報を別途用意する手間をなくすことができる。
（１２）上記形態の方法は、前記学習用データセットを含む学習用データセット群を用いて機械学習を実行する学習工程をさらに有してもよい。
この形態の方法によれば、重畳画像を含む学習用データセットを用いた機械学習を実行することができる。
（１３）上記形態の方法において、前記学習工程により生成された学習済モデルと、前記移動環境を移動中の移動体の撮像画像とを用いて、前記移動環境を移動中の移動体の位置および向きに関する情報を取得する工程をさらに有してもよい。
この形態の方法によれば、学習済モデルを用いて移動環境を移動中の移動体の位置および向きに関する情報を取得することができる。
（１４）上記形態の方法において、前記重畳画像生成工程は、複数回実行され、複数の前記学習用データセットを含む学習用データセット群を用いて機械学習を実行する学習工程をさらに有し、前記移動経路上の複数の位置のうち、前記学習工程により生成された学習済モデルの出力の精度が相対的に低くなる特定位置を決定し、前記特定位置に対応する前記学習用データセットの数を、他の位置に比べて多くしてもよい。
この形態の方法によれば、特定位置における学習済モデルの出力の精度を高めることができる。
（１５）上記形態の方法において、前記重畳画像生成工程は、複数回実行され、複数の前記学習用データセットを含む学習用データセット群を用いて機械学習を実行する学習工程をさらに有し、前記移動経路上の複数の位置のうち、前記学習工程により生成された学習済モデルの出力の精度が相対的に低くなる特定位置を決定し、前記特定位置の環境に応じた前記学習用データセットを生成してもよい。
この形態の方法によれば、特定位置における学習済モデルの出力の精度を高めることができる。
（１６）本開示の第２の形態によれば、装置が提供される。この装置は、移動体の移動経路を取得する移動経路取得部と、前記移動体を表す画像または三次元データと、前記移動経路を含む移動環境を表す画像または三次元データとを重ね合わせて重畳画像を生成する重畳画像生成部と、前記移動体の位置および向きに関するラベル情報を取得するラベル情報取得部と、前記重畳画像と前記ラベル情報とを含む学習用データセットを生成するデータセット生成部と、を備える。
この形態の装置によれば、重畳画像を含む学習用データセットを生成するため、学習用データセットを用意する手間を少なくできる。
（１７）本開示の第３の形態によれば、コンピュータプログラムが提供される。このコンピュータプログラムは、移動体を表す画像または三次元データ、または、前記移動体の移動環境を表す画像または三次元データを取得する機能と、取得された前記画像または三次元データに施される加工に関する加工条件を選択可能な画面を表示させる機能と、取得された前記画像または三次元データに対して、選択された前記加工条件に応じた前記加工を施す機能と、をコンピュータに実現させる。
この形態のコンピュータプログラムによれば、ユーザにより選択された加工条件に応じた重畳画像を生成することができる。
（１８）上記形態のコンピュータプログラムにおいて、前記加工は、明度と彩度とコントラストとの少なくとも１つを変更することを含んでもよい。
この形態のコンピュータプログラムによれば、所望の状態の重畳画像を生成することができる。
（１９）上記形態のコンピュータプログラムにおいて、前記加工は、前記移動体に照射される光を追加または変更することと、前記移動体の陰影を追加または変更することとの少なくとも一方を含んでもよい。
この形態のコンピュータプログラムによれば、所望の状態の重畳画像を生成することができる。
（２０）本開示の第４の形態によれば、コンピュータプログラムが提供される。このコンピュータプログラムは、移動体を表す画像または三次元データと、前記移動体の移動環境を表す画像または三次元データとを取得する機能と、前記移動体を表す画像または三次元データと、前記移動環境を表す画像または三次元データとを重ね合わせる重畳条件を選択可能な画面を表示させる機能と、選択された前記重畳条件に応じて、前記移動体を表す画像または三次元データと前記移動環境を表す画像または三次元データとを重ね合わせて重畳画像を生成する機能と、をコンピュータに実現させる。
この形態のコンピュータプログラムによれば、ユーザにより選択された重畳条件に応じた重畳画像を生成することができる。
（２１）上記形態のコンピュータプログラムにおいて、前記重畳条件は、前記移動環境に対する前記移動体の位置と向きとの少なくとも一方を含んでもよい。
この形態のコンピュータプログラムによれば、所望の状態の重畳画像を生成することができる。
（２２）本開示の第５の形態によれば、機械学習に用いられる学習用データセットが提供される。この学習用データセットは、移動体を表す画像または三次元データと、前記移動体の移動環境を表す画像または三次元データとを重ね合わせることにより生成された重畳画像と、前記移動体の位置および向きに関する情報と、を含む。
この形態の学習用データセットによれば、移動体の位置および向きに関する情報を取得するための学習済モデルの生成に当該学習用データセットを利用することができる。
本開示は、方法、装置、コンピュータプログラムおよび学習用データセット以外の種々の形態で実現することも可能である。例えば、システムや、コンピュータプログラムが記録された記録媒体などの形態で実現することができる。
【図面の簡単な説明】
【０００７】
第１実施形態のシステムの構成を示す説明図。
第１実施形態の車両の構成を示す説明図。
第１実施形態のサーバ装置の構成を示す説明図。
第１実施形態の無人運転処理の内容を示すフローチャート。
形状データの生成方法、および、形状データを用いた車両の位置取得方法の一例を示すフローチャート。
図５に示す方法を実行したときの各種画像の例を示す模式図。
座標点算出工程の詳細を説明するための説明図。
ベース座標点の算出方法を説明するための説明図。
位置変換工程の詳細を説明するための第１の説明図。
位置変換工程の詳細を説明するための第２の説明図。
学習済モデル生成方法の内容を示すフローチャート。
工場モデルと車両モデルとが重畳される様子を模式的に示す説明図。
学習用データセット群を模式的に示す説明図。
選択画面を模式的に示す説明図。
第２実施形態の車両の構成を示す説明図。
第２実施形態のサーバ装置の構成を示す説明図。
第２実施形態の無人運転処理の内容を示すフローチャート。
他の実施形態の学習済モデルを模式的に示す第１の説明図。
他の実施形態の学習済モデルを模式的に示す第２の説明図。
【発明を実施するための形態】
【０００８】
Ａ．第１実施形態：
図１は、第１実施形態におけるシステム５０の構成を示す説明図である。図２は、第１実施形態における車両１００の構成を示す説明図である。図３は、第１実施形態におけるサーバ装置２００の構成を示す説明図である。図１に示すように、本実施形態では、システム５０は、移動体である車両１００と、サーバ装置２００と、少なくとも１つの外部カメラ３００とを備えている。
【０００９】
本開示において、「移動体」とは、移動し得る物体を意味する。移動体は、例えば、車両や、電動垂直離着陸機（いわゆる空飛ぶ自動車）である。車両は、車輪によって走行する車両であっても無限軌道によって走行する車両であってもよい。すなわち、車両の形態については特に限定されず、車両は、例えば、乗用車、トラック、バス、二輪車、四輪車、戦車、工事用車両などであってもよい。車両は、電気自動車（BEV：Battery Electric Vehicle）、ガソリン自動車、ハイブリッド自動車（HEV：Hybrid Electric Vehicle）、燃料電池自動車（FCEV：Fuel Cell Electric Vehicle）などであってもよい。なお、移動体が車両以外である場合には、本開示における「車両」や「車」という表現を、適宜に「移動体」に置き換えることができ、「走行」という表現を、適宜に「移動」に置き換えることができる。
【００１０】
車両１００は、無人運転により走行可能に構成されている。ここで、「無人運転」とは、車両１００に搭乗している搭乗者の運転操作によらない運転のことを意味する。「運転操作」とは、車両１００の「走る」、「曲がる」、「止まる」の少なくとも１つに関する操作のことを意味する。無人運転は、車両１００の外部に位置している装置を用いた自動または手動の遠隔制御により、あるいは、車両１００の自律制御により実現される。無人運転により走行している車両１００には、運転操作を行わない搭乗者が搭乗していてもよい。運転操作を行わない搭乗者には、例えば、単に車両１００の座席に着座している者や、車両１００に搭乗して運転操作とは異なる行動を行っている者が含まれる。運転操作とは異なる行動には、例えば、車両１００に対する部品の組み付け作業や、車両１００を検査する作業や、車両１００に設けられているスイッチ類の操作などが含まれる。なお、搭乗者の運転操作による運転のことを、「有人運転」と呼ぶことがある。
（【００１１】以降は省略されています）

関連特許