特許ウォッチ

公開番号2025167416
公報種別公開特許公報(A)
公開日2025-11-07
出願番号2024071983
出願日2024-04-25
発明の名称データベースにデータを蓄積する装置
出願人トヨタ自動車株式会社
代理人個人,個人
主分類G06F 16/58 20190101AFI20251030BHJP(計算;計数)
要約【課題】交通安全記録書などの画像とそれに関する文章とがセットとなった資料文書3の情報をデータベース2に蓄積する際に、それぞれの情報を統一された形式にてデータ化して抽出し、学習用データとして容易にできるようにし、類似した情報のデータが重複して蓄積されないようにする。
【解決手段】画像と文章とから構成される資料文書の情報をデータ化してデータベースに蓄積する装置1は、画像をシーングラフデータに変換し、文章から要約生成AIにて要約テキストデータを生成し、データベースに於いて、画像から変換されたシーングラフデータと文章から生成された要約テキストデータの組み合わせをそれと同一又は類似のデータの組み合わせが所定数だけ存在していないときにはデータベースに蓄積し、所定数存在していたときには、その同一又は類似の組み合わせが所定数を超えてデータベースに蓄積しないようにする。
【選択図】図2
特許請求の範囲【請求項１】
画像と文章とから構成される資料文書の情報をデータ化してデータベースに蓄積する装置であって、
前記画像に写っている像の各々を認識してシーングラフデータに変換するよう構成されたシーングラフデータ変換手段と、
前記文章から要約生成ＡＩを用いて前記文章の要約テキストデータを生成するよう構成された要約生成手段と、
前記データベースに於いて、前記画像から変換されたシーングラフデータと同一又は類似のシーングラフデータが保存されているか否かを探察するよう構成されたシーングラフデータ探索手段と、
前記データベースに於いて、前記文章から生成された前記要約テキストデータと同一又は類似の要約テキストデータが保存されているか否かを探察するよう構成された要約探索手段と、
前記データベースに於いて、前記画像から変換されたシーングラフデータと同一又は類似のシーングラフデータと前記文章から生成された前記要約テキストデータと同一又は類似の要約テキストデータとの組み合わせが所定数だけ存在していないときには、前記画像から変換されたシーングラフデータと前記文章から生成された前記要約テキストデータとの組み合わせを前記データベースに蓄積し、前記データベースに於いて、前記画像から変換されたシーングラフデータと同一又は類似のシーングラフデータと前記文章から生成された前記要約テキストデータと同一又は類似の要約テキストデータとの組み合わせが、前記所定数にて存在していたときには、前記画像から変換されたシーングラフデータと前記文章から生成された前記要約テキストデータとの組み合わせと同一又は類似の組み合わせとが前記所定数を超えて前記データベースに蓄積しないよう構成された蓄積データ選択手段と
を含む装置。
続きを表示（約 550 文字）【請求項２】
請求項１の装置であって、前記画像が交通シーンの画像であり、前記文章が前記交通シーンに関わる文章であり、前記画像に於いて認識される像が移動する物体の像であり、前記画像から変換されたシーングラフデータに於いて前記物体の像がノードであり、前記像に対応する前記物体間の前後左右の位置関係がエッジで表されている装置。
【請求項３】
請求項２の装置であって、前記文章が前記画像に映っている状況にて想定される危険を特定する危険予知文章と、前記危険を回避するための対処方法を説明する対処方法文章とを含み、前記要約生成手段が、前記危険予知文章と前記対処方法文章とのそれぞれの要約テキストデータを生成するよう構成されている装置。
【請求項４】
請求項１の装置であって、前記シーングラフデータ探索手段が、互いに、同一のグラフ構造を有し且つ各ノードのカテゴリが一致するデータを同一又は類似のシーングラフデータと判定するよう構成されている装置。
【請求項５】
請求項１の装置であって、前記要約探索手段が、互いに、要約テキストデータの文章類似度が所定の閾値以上である要約テキストデータを同一又は類似の要約テキストデータと判定するよう構成されている装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、データベースにデータを蓄積するための装置に係り、より詳細には、画像とテキストからなる文書から抽出される情報を保存用のデータとしてデータベースに蓄積する装置に係る。
続きを表示（約 4,300 文字）【背景技術】
【０００２】
機械学習を利用した人工知能（ＡＩ）技術の普及により、学習のためのデータの蓄積に関する技術が種々提案されている。例えば、特許文献１では、交通シーンデータに対して、一律に定義されたデータ表現を作成するステップと、一律に定義されたデータ表現を有する交通シーンデータに基づいて、交通シーン内のエンティティ間の時間及び／又は空間関係を描画するグラフを構築するステップと、構築されたグラフをグラフニューラルネットワークの入力とし、グラフニューラルネットワークの学習を行い、交通シーンデータから特徴を抽出するステップとを含む方法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２３－９８８６４
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、企業内や団体内に於いて、或いは、その他の様々な場所に於いて、交通シーンなどの種々の状況に関する資料として、画像と文章とを組み合わせてなる文書（以下、「資料文書」が作成され、利用される。そのような資料文書に記載された情報は、適当な手法で収集されデータ化されてデータベースに蓄積できれば、ＡＩ技術の学習のためのデータ（学習用データ）として利用可能となる。例えば、上記の交通シーンに関して、自動車メーカやその他の関連する企業内では、ドライブレコーダで撮影した車両周辺のカメラ映像、路上に設置された監視カメラの映像、或いは、交通状況を描画したイラストなどの、種々の交通シーンの写真、動画やイラスト（以下、「画像」と総称する。）について、その状況の分析や安全に関する検討がミーティングなどを通じて為され、画像とそれに関する文章とがセットとなった資料文書（「交通安全記録書」と称される。）が作成されることがある。そのような画像と文章とからなる資料文書は、様々な態様にて多く蓄積されているところ、かかる資料文書から得られる情報も、学習用データとして有用である。この点に関し、一般に、資料文書間では画像と文章の形式が定まっているとは限らないので、そのままでは、学習用データとして利用することは困難である。従って、上記の如き資料文書を学習用データとして利用するには、画像と文章のそれぞれの特徴を適宜設定された形式に抽出することが好ましい。また、資料文書間に於いて情報が互いに類似していることがある。その場合、互いに情報の類似している資料文書の全ての情報をデータベースにデータとして蓄積すると、データベースが偏ったデータセットを有するものとなり得るので、データベースに資料文書の情報をデータとして蓄積する場合には、類似した内容の情報が必要以上に重複して保存されないようになっていることが好ましい。この点に関しても、文書間で画像と文書の形式が定まっていないと、文書間の情報の類似／非類似の判定が困難となるので、画像と文章のそれぞれの情報が適宜設定された統一された形式にて抽出され、類似した情報の取捨選択が容易となっていることが好ましい。
【０００５】
上記の事情に鑑み、本発明の主な課題は、交通安全記録書などの画像とそれに関する文章とがセットとなった資料文書の情報をデータ化してデータベースに蓄積する際に資料文書から画像と文章のそれぞれの情報を統一された形式にて抽出し、学習用データとして容易にできるようにすると共に、類似した情報のデータが必要以上に重複して蓄積されないようにするデータベースにデータを蓄積する装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明によれば、上記の課題は、画像と文章とから構成される資料文書の情報をデータ化してデータベースに蓄積する装置であって、
前記画像に写っている像の各々を認識してシーングラフデータに変換するよう構成されたシーングラフデータ変換手段と、
前記文章から要約生成ＡＩを用いて前記文章の要約テキストデータを生成するよう構成された要約生成手段と、
前記データベースに於いて、前記画像から変換されたシーングラフデータと同一又は類似のシーングラフデータが保存されているか否かを探察するよう構成されたシーングラフデータ探索手段と、
前記データベースに於いて、前記文章から生成された前記要約テキストデータと同一又は類似の要約テキストデータが保存されているか否かを探察するよう構成された要約探索手段と、
前記データベースに於いて、前記画像から変換されたシーングラフデータと同一又は類似のシーングラフデータと前記文章から生成された前記要約テキストデータと同一又は類似の要約テキストデータとの組み合わせが所定数だけ存在していないときには、前記画像から変換されたシーングラフデータと前記文章から生成された前記要約テキストデータとの組み合わせを前記データベースに蓄積し、前記データベースに於いて、前記画像から変換されたシーングラフデータと同一又は類似のシーングラフデータと前記文章から生成された前記要約テキストデータと同一又は類似の要約テキストデータとの組み合わせが、前記所定数にて存在していたときには、前記画像から変換されたシーングラフデータと前記文章から生成された前記要約テキストデータとの組み合わせと同一又は類似の組み合わせとが前記所定数を超えて前記データベースに蓄積しないよう構成された蓄積データ選択手段と
を含む装置
によって達成される。
【０００７】
上記の構成に於いて、画像は、そこに写っている像の各々がシーングラフデータに変換されるものであれば、任意のものであってよく、静止画像であっても動画像であってもよく、写真と描画のいずれであってもよい。画像のシーングラフデータ化に於いては、画像内に映っている何某かの像がノードとして表され、像が複数存在としているときに、それらの像の間の関係、例えば、位置関係など、がエッジとして表されてよい。文章は、画像に関する文章であれば、任意のものであってよい。「シーングラフデータ探索手段」は、任意の画像からシーングラフを生成する技術が用いられてよい。「要約探索手段」は、任意の文章から要約テキストデータを生成する要約生成ＡＩ技術が用いられてよい（「要約テキストデータ」とは、文書中の文章を要約したものをコンピュータ装置にて処理及び保存できるようにテキストデータにしたものである。）。「所定数」は、自然数であってよい。上記の各手段は、プログラムに従ったコンピュータ装置の作動により実現される。
【０００８】
上記の本発明の装置に於いては、画像と文章とから構成される文書の情報をデータ化してデータベースに蓄積する際に、画像については、シーングラフデータに変換し、文章については、要約テキストデータに変換されることで、それぞれの情報が、統一された形式にて抽出されることとなる。また、これにより、画像そのものや文章そのものをデータ化して保存する場合よりもデータ量が軽量化される点で有利である。また、本発明の装置の場合には、シーングラフデータと要約テキストデータは、そのままデータベースに蓄積されるのではなく、データベース内に既に同一又は類似のシーングラフデータと要約テキストデータの組み合わせが存在しているか否かが探索され、もし同一又は類似のシーングラフデータと要約テキストデータの組み合わせの蓄積数が既に適宜設定されてよい所定数に達しているときには、同一又は類似のシーングラフデータと要約テキストデータの組み合わせが所定数を超えないように、今回新たに取得されたシーングラフデータと要約テキストデータの組み合わせを蓄積しないか、今回新たに取得された組み合わせを蓄積する代わりに既に蓄積されているデータの一つが削除される。これにより、データベース内に蓄積されるデータに於けるデータの種類の偏りが防止できることとなる。
【０００９】
上記の構成に於いて、シーングラフデータ探索手段は、互いに、同一のグラフ構造を有し且つ各ノードのカテゴリが一致するデータを同一又は類似のシーングラフデータと判定するよう構成されていてよい。ノードのカテゴリとは、ノードに割り当てられる像の種類又はその他の特徴が共通するもの毎の分類である。これにより、全く同じグラフデータでなくても、類似していると判断され、データベースに蓄積されるシーングラフデータの偏りが有利に防止できることとなる。また、要約探索手段は、互いに、要約テキストデータの文章類似度が適宜設定される所定の閾値以上である要約テキストデータを同一又は類似の要約テキストデータと判定するよう構成されていてよい。文章類似度は、任意のアルゴリズムにて検出されてよい。これにより、全く同じテキストデータでなくても、類似していると判断され、データベースに蓄積される要約テキストデータの偏りが有利に防止できることとなる。
【００１０】
上記の構成に於いて、画像が交通シーンの画像であり、文章が交通シーンに関わる文章であり、画像に於いて認識される像が移動する物体（人、車両）の像であり、画像から変換されたシーングラフデータに於いて物体の像がノードであり、像に対応する物体間の前後左右の位置関係がエッジで表されていてよい。これにより、交通シーンの画像に於いて、人や車両がノードとして表わされ、その位置関係がエッジで表されることで、情報が簡単化され、データ量が大幅に軽減されるともに、物体の位置関係の把握が容易となり、種々のデータ処理が容易となることが期待される。また、文章が交通シーンに関わる文章であるとき、文章が画像に映っている状況にて想定される危険を特定する危険予知文章と、危険を回避するための対処方法を説明する対処方法文章とを含み、要約生成手段は、危険予知文章と対処方法文章とのそれぞれの要約テキストデータを生成するよう構成されていてよい。これにより、交通シーンに於ける想定される危険とその対処方法とが別々に要約されて、文章の内容の把握が容易となり、種々のデータ処理が容易となることが期待される。
【発明の効果】
（【００１１】以降は省略されています）

関連特許