特許ウォッチ

公開番号2025053870
公報種別公開特許公報(A)
公開日2025-04-07
出願番号2023162954
出願日2023-09-26
発明の名称説明文生成システム、および、説明文データベースの生産方法
出願人株式会社日立製作所
代理人弁理士法人磯野国際特許商標事務所
主分類G06F 16/583 20190101AFI20250331BHJP(計算;計数)
要約【課題】人間が入力する検索文に合致するような自然な説明文を対応付けた画像をデータベース化すること。
【解決手段】車両画像分析装置1の説明文生成部12は、カメラから受信した画像に写るシーンを特定し、特定したシーンごとにその画像内の対象物についての認識要否情報を要否テーブル14Aから読み取り、読み取った認識要否情報で認識が必要と指定された対象物を画像内から認識し、その認識結果から対象物ごとの説明文を生成し、特定したシーンと対象物ごとの説明文とをもとに画像の状況説明文を生成し、画像の状況説明文と画像とを対応付けて説明文DB15に記憶する。
【選択図】図1
特許請求の範囲【請求項１】
車両に搭載され画像を撮影するカメラと、前記カメラで撮影された画像の状況説明文を生成する車両画像分析装置とを有する画像説明システムであって、
前記車両画像分析装置は、説明文生成部を有しており、
前記説明文生成部は、
前記カメラから受信した画像に写るシーンを特定し、特定したシーンごとにその画像内の対象物についての認識要否情報を要否テーブルから読み取り、
読み取った前記認識要否情報で認識が必要と指定された対象物を画像内から認識し、その認識結果から対象物ごとの説明文を生成し、
特定したシーンと対象物ごとの説明文とをもとに前記画像の状況説明文を生成し、前記画像の状況説明文と画像とを対応付けて画像データベースに記憶することを特徴とする
画像説明システム。
続きを表示（約 1,600 文字）【請求項２】
前記説明文生成部は、画像内の対象物についての説明要否情報を前記要否テーブルから読み取り、読み取った説明要否情報で説明が必要と指定された対象物を画像内から認識できない場合には、対象物ごとの説明文として、その対象物が画像内には存在しない旨の説明文を生成することを特徴とする
請求項１に記載の画像説明システム。
【請求項３】
前記説明文生成部は、画像内の対象物についての詳細項目を認識テーブルから読み取り、画像内から認識内の対象物についての読み取った詳細項目の説明文を、対象物ごとの説明文として生成することを特徴とする
請求項１に記載の画像説明システム。
【請求項４】
前記説明文生成部は、前記車両の車載衛星測位システムから読み取った測位データに基づいて、画像撮影時の時間帯の情報、および、画像撮影時の走行位置の情報のうちの少なくとも１つの情報に関する説明文を、前記画像の状況説明文に追加することを特徴とする
請求項１に記載の画像説明システム。
【請求項５】
前記説明文生成部は、前記車両の車載ＥＣＵ（Electronic Control Unit）から読み取った車両走行制御データに基づいて、速度の情報、加減速度の情報、および、ステアリング角度の情報のうちの少なくとも１つの情報に関する説明文を、前記画像の状況説明文に追加することを特徴とする
請求項１に記載の画像説明システム。
【請求項６】
前記車両画像分析装置は、入力されたプロンプトに沿った要約文を生成する要約生成部を有しており、
前記説明文生成部は、状況説明文に含む情報、状況説明文から除外する情報、および、状況説明文の例文の情報をもとにした状況説明文の生成指示文と、対象物ごとの説明文とを含むプロンプトを前記要約生成部に入力することで、前記画像の状況説明文を生成することを特徴とする
請求項１に記載の画像説明システム。
【請求項７】
前記車両画像分析装置は、前記画像データベースに記憶された画像から、入力された検索文に合致する画像を検索する検索部を有しており、
前記検索部は、入力された検索文と、前記画像データベースに記憶された状況説明文との類似度が高い画像を検索結果として出力することを特徴とする
請求項１に記載の画像説明システム。
【請求項８】
前記検索部は、類似度が高い画像に対応する状況説明文に含まれる情報をもとに、前記画像データベースとは別のデータベースから取得した関連情報も、検索結果として出力することを特徴とする
請求項７に記載の画像説明システム。
【請求項９】
画像に写るシーンを特定し、特定したシーンごとにその画像内の対象物についての認識要否情報を要否テーブルから読み取り、
読み取った前記認識要否情報で認識が必要と指定された対象物を画像内から認識し、その認識結果から対象物ごとの説明文を生成し、
特定したシーンと対象物ごとの説明文とをもとに画像の状況説明文を生成し、前記画像の状況説明文と画像とを対応付けて画像データベースに記憶する説明文生成部を有することを特徴とする
画像分析装置。
【請求項１０】
画像分析装置は、
画像に写るシーンを特定し、特定したシーンごとにその画像内の対象物についての認識要否情報を要否テーブルから読み取り、
読み取った前記認識要否情報で認識が必要と指定された対象物を画像内から認識し、その認識結果から対象物ごとの説明文を生成し、
特定したシーンと対象物ごとの説明文とをもとに画像の状況説明文を生成し、前記画像の状況説明文と画像とを対応付けて画像データベースに記憶することを特徴とする
画像説明方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像説明システム、画像分析装置、および、画像説明方法に関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
従来、画像や動画を認識し、その画像の説明文を生成する画像キャプション生成という技術が開示されている（例えば特許文献１）。
特許文献１に記載の技術では、車載カメラの画像に移りこんでいる周辺対象物を認識し、車両と周辺対象物の位置関係を含むテキストを出力することで、周辺状況説明文として提供する。
【先行技術文献】
【特許文献】
【０００３】
特開２０１９－２１４３２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１などの従来の技術では、コネクテッドカーから収集した車両画像をデータベース化し、そのデータベースからユーザによる自然言語の指示条件に合致する画像を検索する用途に適したシステムは提供されていない。このような画像データベースを構築する際には、データベース内の画像ごとに、その画像の説明文をあらかじめ対応付けておき、ユーザが入力する検索文に類似するデータベース内の説明文が付与されていることが望ましい。
【０００５】
一方、特許文献１などの従来の技術では、ユーザが入力する検索文に類似するような、自然な周辺状況説明文を生成することについては特に考慮されていなかった。例えば、単に画像内のオブジェクトを検出し、そのオブジェクトの名称をそのまま説明文にするだけでは、車両の置かれた交通シーンに応じて着目すべき周辺対象物の有無が説明文で言及されないこともあり、その結果、ユーザが入力する検索文に合致されることができなかった。
【０００６】
本発明はこのような事情を考慮してなされたものであり、人間が入力する検索文に合致するような自然な説明文を対応付けた画像をデータベース化することを、主な課題とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の画像説明システムは、以下の特徴を有する。
本発明は、車両に搭載され画像を撮影するカメラと、前記カメラで撮影された画像の状況説明文を生成する車両画像分析装置とを有する画像説明システムであって、
前記車両画像分析装置が、説明文生成部を有しており、
前記説明文生成部が、
前記カメラから受信した画像に写るシーンを特定し、特定したシーンごとにその画像内の対象物についての認識要否情報を要否テーブルから読み取り、
読み取った前記認識要否情報で認識が必要と指定された対象物を画像内から認識し、その認識結果から対象物ごとの説明文を生成し、
特定したシーンと対象物ごとの説明文とをもとに前記画像の状況説明文を生成し、前記画像の状況説明文と画像とを対応付けて画像データベースに記憶することを特徴とする。
その他の特徴は、後記する。
【発明の効果】
【０００８】
本発明によれば、人間が入力する検索文に合致するような自然な説明文を対応付けた画像をデータベース化することができる。
【図面の簡単な説明】
【０００９】
本実施形態に関する画像説明システムの構成図である。
本実施形態に関する走行ログＤＢの詳細を示す図である。
本実施形態に関する車両走行動画データの一部である静止画データの一例を示す図である。
本実施形態に関する車両画像分析装置の構成図である。
本実施形態に関する要否テーブルの構成図である。
本実施形態に関する認識テーブルの構成図である。
本実施形態に関する説明文生成部のフローチャートである。
本実施形態に関する車両画像分析装置のハードウェア構成図である。
本実施形態に関する画像説明文の生成処理の詳細なフローチャートである。
本実施形態に関する図９で説明した画像説明文の生成処理の具体的な動作の一例を示すフローチャートである。
本実施形態に関する一般道用の画像説明文の生成処理の詳細なフローチャートである。
本実施形態に関する図３の静止画データに対して画像説明文の生成処理を実行した結果の中間データを示すテーブルである。
本実施形態に関する図１２の中間データに対して説明文生成部が不要なデータを削除した結果の出力データを示すテーブルである。
本実施形態に関するＧＰＳ説明文の生成処理の詳細を示す図である。
本実施形態に関する制御説明文の生成処理の詳細を示す図である。
本実施形態に関する図１４および図１５で生成された説明文の一例を示すテーブルである。
本実施形態に関する走行状況説明文の生成処理で使用される大規模言語モデル部への指示文を示すテーブルである。
本実施形態に関する図１３の画像説明文とは別の画像から生成された一例を示すテーブルである。
本実施形態に関する検索部の処理を示すフローチャートである。
本実施形態に関する入出力部の画像検索インターフェースを示す図である。
本実施形態に関する図２０の検索結果（シーンその１）がクリックされたときの再生画面である。
本実施形態に関する図２０の検索結果（シーンその２）がクリックされたときの再生画面である。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施形態を図面を用いて説明する。
（【００１１】以降は省略されています）

関連特許