特許ウォッチ

公開番号2025080803
公報種別公開特許公報(A)
公開日2025-05-27
出願番号2023194078
出願日2023-11-15
発明の名称物体検出方法及び物体検出システム
出願人株式会社日立製作所
代理人弁理士法人信友国際特許事務所
主分類G06T 7/00 20170101AFI20250520BHJP(計算;計数)
要約【課題】画像の撮像方向によらず、検出対象の物体と周囲のオブジェクトの配置関係性から、検出対象の物体を同定することができる物体検出方法及び物体検出システムを提供する。
【解決手段】本発明の物体検出方法は、画像とこれに対応するテキストを入力とする機械学習推論を用いる物体検出方法であって、入力画像に対して推論した領域と入力テキストとに基づいて画像を生成し、この生成した画像から画像特徴量を抽出するとともに、入力テキストからテキスト特徴量を抽出し、画像特徴量とテキスト特徴量との類似度を基に機械学習推論を行って検出対象の物体を同定することを特徴とする。
【選択図】図2
特許請求の範囲【請求項１】
画像とこれに対応するテキストを入力とする機械学習推論を用いる物体検出方法であって、
入力画像に対して推論した領域と入力テキストとに基づいて画像を生成し、
この生成した画像から画像特徴量を抽出するとともに、前記入力テキストからテキスト特徴量を抽出し、
前記画像特徴量と前記テキスト特徴量との類似度を基に前記機械学習推論を行って検出対象の物体を同定する
ことを特徴とする物体検出方法。
続きを表示（約 1,500 文字）【請求項２】
前記機械学習推論において、前記入力テキストについて名詞句及び主体客体の関係性のテキスト認識を行い、この認識した名詞句に基づいて、前記入力画像に対して領域分割を行い、前記テキスト認識で取得する主体客体の関係性と前記領域分割の結果とに基づいて複数の画像を生成し、この生成した各画像と前記入力テキストとの類似度に基づいて検出対象の物体を同定する
ことを特徴とする請求項１に記載の物体検出方法。
【請求項３】
前記検出対象の物体は、災害の被災地における建屋を代表とする人工物や要救助者である
ことを特徴とする請求項１に記載の物体検出方法。
【請求項４】
前記物体検出の推論時において、前記検出対象の物体を形容詞、関係性を示す語彙の少なくとも一方で限定したリストを作成しておくことで、複数の限定された名詞に対応する物体を物体検出する
ことを特徴とする請求項１に記載の物体検出方法。
【請求項５】
前記物体検出を実現する学習データについて、少なくとも検出対象が持つ条件を主体客体が明らかなテキスト群として生成し、前記テキスト群から生成される画像と、前記入力画像と前記入力テキストとに基づく画像生成の過程で、前記テキスト群を構成する名詞句が対応する領域とを保存することで、前記機械学習推論を学習するための学習データを生成する
ことを特徴とする請求項１に記載の物体検出方法。
【請求項６】
画像とこれに対応するテキストを入力とする機械学習推論を用いる物体検出システムであって、
入力画像に対して入力テキストに応じた領域を推論する領域分割推論部と、
前記領域分割推論部が推論した領域と前記入力テキストとに基づいて画像を生成する画像生成部と、
前記画像生成部が生成した画像から画像特徴量を抽出する画像特徴抽出部と、
前記入力テキストからテキスト特徴量を抽出するテキスト特徴抽出部と
を備え、前記画像特徴量と前記テキスト特徴量との類似度を基に前記機械学習推論を行って検出対象の物体を同定する
ことを特徴とする物体検出システム。
【請求項７】
前記画像生成部は、前記入力テキストと前記領域分割推論部の出力とを基に画像生成に向けたレイアウトを作成し、少なくとも、前記レイアウトと前記入力テキストによって条件付けされた画像を生成する
ことを特徴とする請求項６に記載の物体検出システム。
【請求項８】
前記画像生成部は、前記入力テキストから主体と客体を明示的に分離した上で、前記領域分割推論部の出力を基に前記レイアウトを作成する
ことを特徴とする請求項７に記載の物体検出システム。
【請求項９】
前記画像生成部は、入力となる画像から前記領域分割推論部が複数の主体に対応する領域を推論する場合には、各々の主体ごとに前記レイアウトを生成し、客体を表す領域と前記主体ごとの領域とを分離可能な形で表現する
ことを特徴とする請求項７に記載の物体検出システム。
【請求項１０】
前記レイアウトを基に生成する画像から、前記入力テキストに最も近い画像を選択することで、その生成元となったレイアウトを選択し、その選択したレイアウトを構成する主体の領域を物体検出の出力とする領域選択部をさらに備える
ことを特徴とする請求項７に記載の物体検出システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、物体検出方法及び物体検出システムに関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
災害の被災地では、救命の観点から、迅速な被害状況把握が求められる。被災地の状況把握にあたっては、人工衛星などに装備された高解像度なカメラを用いて都市を高度上空から撮像して得られた画像を基に災害箇所を同定することが理想ではある。しかし、人工衛星の到来周期は早いものであっても1日であり、被災地の直上に迅速に到来することができないため、迅速な災害把握には向かない。また、被災時には往々にして悪天候に伴って雲が地表を覆い隠すなどの要因によって、衛星画像での認識が困難であるといった課題がある。
【０００３】
一方、ＵＡＶ（Unmanned Air Vehicle：無人航空機）は、被災地で即座に飛行させることが可能である点で迅速な被害状況把握に適している。また、ＵＡＶは、雲の下を飛行することができるため、地表の情報を画像として取得しやすい。
【０００４】
従来、上空から撮像した画像から建物領域を抽出し、各建物の領域内部の画像テクスチャに着目して破損状況を識別することを目的とした技術が知られている（例えば、特許文献１参照）。特許文献１には、「災害発生地域を上空から撮影した画像と、災害発生前に取得されている家屋ポリゴンとを用いて損壊家屋を検出する。損壊家屋の屋根に被せられる不透水性のシートに対応する色情報を予め指定される。画像を色に基づいて領域分割し、分割領域のうちシートの色を有するシート被覆領域を抽出する。シート被覆領域との間に重複部分を有する家屋ポリゴンに対応する家屋を損壊家屋と判定する。」と記載されている。
【０００５】
この従来技術によれば、例えば、大地震やトルネードといった建物自体が崩壊する大規模災害では、建物領域内部の画像テクスチャから建物の被災状況を識別（把握）することが可能である。
【先行技術文献】
【特許文献】
【０００６】
特開２０１７－２２０１７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、災害が例えば水害の場合、建物自体が崩壊するわけではないため、上空からの見た目では、建物が被災しているか否かを認識することはできない。また、倒木が建物に倒れ込むなどの場合も、建物自体が破損していないように見えるケースも多く、建物が実際に被災したか否かを確認するためには、建物の領域のみならず、建物の周辺領域や周辺物体との関係性を明らかにする必要がある。
【０００８】
建物と周辺物体との関係性の観点では、両者の配置状態をルール化するのが有効であると考えられる。例えば、上空から直下向けに撮像した画像から、画像中の領域について建物や水、木などのクラス分類を行い、建物に対する相対的な各々の領域の配置関係性から建物に対する被災の影響を識別するものである。ただし、この判定を行うためには直下向けに画像を撮像する必要があり、この想定が崩れると、相対的な配置関係性が壊れるため、鳥瞰視点のような斜め下向けカメラからの空撮画像から被災判定を行うことができない。
【０００９】
実際の被災現場で迅速な被害把握を行うために、ＵＡＶ（無人航空機）は、画角に制約なく認識を可能とする必要がある。そのため、撮像する角度に制約を置かない被災判定を行う必要がある。なお、以上では、検出対象の物体として、災害の被災地における建物を例に挙げて説明したが、これに限られるものでない。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、画像の撮像方向によらず、検出対象の物体と周囲のオブジェクトの配置関係性から、検出対象の物体を同定することができる物体検出方法及び物体検出システムを提供することを目的とする。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許