特許ウォッチ

公開番号2025150916
公報種別公開特許公報(A)
公開日2025-10-09
出願番号2024052079
出願日2024-03-27
発明の名称学習データ生成システム、学習データ生成プログラム、および学習データ生成方法
出願人ソフトバンク株式会社
代理人弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
主分類G06F 40/56 20200101AFI20251002BHJP(計算;計数)
要約【課題】車両に搭載されるカメラが撮影して得られた撮影映像に基づいて、当該車両の状況を説明する説明文章を生成する言語モデルの学習を、容易に行えるようにする。
【解決手段】学習データ生成システム(1)は、車両に搭載されるカメラが撮影して得られた撮影映像が入力されると、当該車両の状況を説明する所定書式の説明文章を出力する言語モデル(2)から、説明文章を取得する取得部(11)と、説明文章を構成する複数の要素ごとに、言語モデルの推定精度を評価する評価部(12)と、推定精度の評価結果に基づいて、言語モデルに学習させるための学習用文章を生成する第一生成部(13)と、学習用文章に基づいて、学習用文章とともに言語モデルに学習させるための、学習用文章の内容を示す学習用映像を生成する第二生成部(14)と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
車両に搭載されるカメラが撮影して得られた撮影映像が入力されると、当該車両の状況を説明する所定書式の説明文章を出力する言語モデルから、前記説明文章を取得する取得部と、
前記説明文章を構成する複数の要素ごとに、前記言語モデルの推定精度を評価する評価部と、
前記推定精度の評価結果に基づいて、前記言語モデルに学習させるための学習用文章を生成する第一生成部と、
前記学習用文章に基づいて、前記学習用文章とともに前記言語モデルに学習させるための、前記学習用文章の内容を示す学習用映像を生成する第二生成部と、
を備える、
学習データ生成システム。
続きを表示（約 1,200 文字）【請求項２】
前記要素は、少なくとも前記車両の走行状況を含む、
請求項１に記載の学習データ生成システム。
【請求項３】
前記要素は、
少なくとも前記車両の位置、及び前記車両の走行意図を含み、
前記撮影映像に映る物体、前記物体の位置、前記物体の動作、および前記車両の現状の動作の少なくともいずれかをさらに含む、
請求項２に記載の学習データ生成システム。
【請求項４】
前記評価部は、前記言語モデルとは異なる第二言語モデルを用いて前記説明文章を正解文と比較することにより、前記要素ごとの正答率を算出する、
請求項１に記載の学習データ生成システム。
【請求項５】
前記第一生成部は、前記正答率の低かった要素が重みづけされた前記学習用文章を生成する、
請求項４に記載の学習データ生成システム。
【請求項６】
前記第一生成部は、前記学習用文章を、前記説明文章と同じ書式で生成する、
請求項５に記載の学習データ生成システム。
【請求項７】
前記第二生成部は、あらかじめ用意されたテンプレート映像を利用して前記学習用映像を生成する、
請求項１に記載の学習データ生成システム。
【請求項８】
前記テンプレート映像には、前記説明文章が示す前記車両の位置における道路の映像が含まれる、
請求項７に記載の学習データ生成システム。
【請求項９】
前記取得部は、前記撮影映像が入力されると、前記説明文章であって、それぞれ説明する走行状況の内容が異なる複数種類の前記説明文章を出力する言語モデルから、複数種類の前記説明文章を取得し、
複数種類の前記説明文章のうち、前記車両の今後の走行に与える影響が最も大きい内容の前記説明文章を選択する選択部を備え、
前記評価部は、選択された前記説明文章を用いて、前記言語モデルの推定精度を評価する、
請求項１から８のいずれか一項に記載の学習データ生成システム。
【請求項１０】
コンピュータに、
車両に搭載されるカメラが撮影して得られた撮影映像が入力されると、当該車両の状況を説明する所定書式の説明文章を出力する言語モデルから、前記説明文章を取得する取得処理と、
前記説明文章を構成する複数の要素ごとに、前記言語モデルの推定精度を評価する評価処理と、
前記推定精度の評価結果に基づいて、前記言語モデルに学習させるための学習用文章を生成する第一生成処理と、
前記学習用文章に基づいて、前記学習用文章とともに前記言語モデルに学習させるための、前記学習用文章の内容を示す学習用映像を生成する第二生成処理と、
を実行させる、
学習データ生成プログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、学習データ生成システム、学習データ生成プログラム、および学習データ生成方法に関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
近年、「レベル４」の自動運転が解禁されたことに伴い、自動運転車両の実証実験が全国各地で実施されている。自動運転においては、車両から膨大な量のデータが収集され、それが車両のＡＩによる事象の認知、今後の予測、走行計画、当該ＡＩの改良（学習）等に用いられる。例えば下記非特許文献１は、こうした自動運転車両の実証実験の現状について開示している。
【先行技術文献】
【非特許文献】
【０００３】
“自動運転実証が国内外で活発化！データマネジメント上の課題は？”、［online］、令和２年１０月１５日、自動運転ラボ、［令和５年７月７日検索］、インターネット＜URL：https://jidounten-lab.com/u_data-management-1＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＡＩ（学習済みモデル）は、インターネット上にある大量の学習データを利用して構築されるのが一般的である。このため、自動運転の遠隔監視といった特定のドメインに特化した学習済みモデルは、十分な精度を発揮するほどに構築が進んでいない（ハルシネーション等の問題に悩まされる）のが現状である。こうした問題は、ドメインに特化した学習データを用意することにより解決することができる。しかし、自動運転の遠隔監視に特化した学習データは、世の中に多くは存在しておらず、依然として人の手で作成する必要がある。学習に必要となる学習データは膨大であり、その作成には大量の時間と労力が必要となる。
【０００５】
また、学習済みモデルの構築には、映像の他、映像が示す内容を説明する文章が必要になる。これまでも、映像から文章を生成する言語モデルは存在していたが、自動運転の遠隔監視に特化した学習済みモデルを構築するためには、自動運転車両の車載カメラから得られる当該自動運転車両の走行状況を正確に説明する文章が必要となる。しかし、現状では、車両の走行状況を正確に説明する文章を生成する技術は確立されていない。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の一態様に係る学習データ生成システムは、車両に搭載されるカメラが撮影して得られた撮影映像が入力されると、当該車両の状況を説明する所定書式の説明文章を出力する言語モデルから、前記説明文章を取得する取得部と、前記説明文章を構成する複数の要素ごとに、前記言語モデルの推定精度を評価する評価部と、
前記推定精度の評価結果に基づいて、前記言語モデルに学習させるための学習用文章を生成する第一生成部と、前記学習用文章に基づいて、前記学習用文章とともに前記言語モデルに学習させるための、前記学習用文章の内容を示す学習用映像を生成する第二生成部と、を備える。
【０００７】
また、本発明の他の態様に係る学習データ生成プログラムは、コンピュータに、車両に搭載されるカメラが撮影して得られた撮影映像が入力されると、当該車両の状況を説明する所定書式の説明文章を出力する言語モデルから、前記説明文章を取得する取得処理と、前記説明文章を構成する複数の要素ごとに、前記言語モデルの推定精度を評価する評価処理と、前記推定精度の評価結果に基づいて、前記言語モデルに学習させるための学習用文章を生成する第一生成処理と、前記学習用文章に基づいて、前記学習用文章とともに前記言語モデルに学習させるための、前記学習用文章の内容を示す学習用映像を生成する第二生成処理と、を実行させる。なお、学習データ生成プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【０００８】
また、本発明の他の態様に係る学習データ生成方法は、コンピュータが、車両に搭載されるカメラが撮影して得られた撮影映像が入力されると、当該車両の状況を説明する所定書式の説明文章を出力する言語モデルから、前記説明文章を取得する取得ステップと、コンピュータが、前記説明文章を構成する複数の要素ごとに、前記言語モデルの推定精度を評価する評価ステップと、コンピュータが、前記推定精度の評価結果に基づいて、前記言語モデルに学習させるための学習用文章を生成する第一生成ステップと、コンピュータが、前記学習用文章に基づいて、前記学習用文章とともに前記言語モデルに学習させるための、前記学習用文章の内容を示す学習用映像を生成する第二生成ステップと、を含む。
【図面の簡単な説明】
【０００９】
本発明の実施形態に係る学習データ生成システムおよびモデル学習システムの機能的構成の一例を示すブロック図である。
同実施形態に係るモデル学習システムが備える言語モデルが生成する説明文章の書式について説明する図である。
同言語モデルに入力される撮影映像の一例を示す図である。
同実施形態に係る学習データ生成システムによる言語モデルの推定精度の評価結果の一例を示す表である。
同実施形態に係る学習データ生成システムによる学習用文章の生成の仕方について説明する図である。
同実施形態に係る学習データ生成システムによる学習用映像の生成の仕方について説明する図である。
同実施形態に係るモデル学習システムが蓄積する学習データ（データセット）の内容を示す表である。
本発明の実施形態に係る学習データ生成方法およびモデル学習方法の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
＜学習データ生成システム１（モデル学習システム１００）＞
以下、本発明の一態様の実施形態に係る学習データ生成装置について、詳細に説明する。
（【００１１】以降は省略されています）

関連特許