特許ウォッチ

公開番号2025022789
公報種別公開特許公報(A)
公開日2025-02-14
出願番号2024119492
出願日2024-07-25
発明の名称シーン検出
出願人富士通株式会社
代理人弁理士法人ITOH
主分類G06T 7/00 20170101AFI20250206BHJP(計算;計数)
要約【課題】シーン検出のためのコンピュータにより実施される方法、プログラム及び情報処理装置を提供する。
【解決手段】入力されたシーングラフに基づいてグラフベクトルを生成し、画像ベクトルを生成するよう入力画像を符号化し、更新されたグラフベクトル及び更新されたオブジェクトクエリベクトルを生成するよう更新プロセスを実行する方法であって、更新プロセスは、グラフベクトルに基づきオブジェクトクエリベクトルを更新するステップA、画像ベクトルに基づきオブジェクトクエリベクトルを更新するステップB、オブジェクトクエリベクトルに基づきグラフベクトルを更新するステップC及びオブジェクトの領域及びカテゴリを更新されたオブジェクトクエリベクトルから抽出し、更新されたオブジェクトクエリベクトル及び更新されたグラフベクトルに基づき、入力画像と入力されたシーングラフとの間の類似度を計算するステップDを含む。
【選択図】図6
特許請求の範囲【請求項１】
コンピュータにより実施される方法であって、
入力されたシーングラフに基づいて、複数のグラフベクトルを生成することと、
複数の画像ベクトルを生成するよう入力画像を符号化することと、
前記複数のグラフベクトル及び少なくとも１つのオブジェクトクエリベクトルを更新して複数の更新されたグラフベクトル及び少なくとも１つの更新されたオブジェクトクエリベクトルを生成するよう更新プロセスを実行することであり、前記更新プロセスは、
前記複数のグラフベクトルに基づき前記少なくとも１つのオブジェクトクエリベクトルを更新することと、
前記複数の画像ベクトルに基づき前記少なくとも１つのオブジェクトクエリベクトルを更新することと、
前記少なくとも１つのオブジェクトクエリベクトルに基づき前記複数のグラフベクトルを更新することと、を含む、前記実行することと、
少なくとも１つのオブジェクトの領域及び前記少なくとも１つのオブジェクトのカテゴリを示す情報を前記少なくとも１つの更新されたオブジェクトクエリベクトルから抽出することと、
前記少なくとも１つの更新されたオブジェクトクエリベクトル及び前記複数の更新されたグラフベクトルに基づき、前記入力画像と前記入力されたシーングラフとの間の類似度を示すマッチングスコアを計算することと
を有する方法。
続きを表示（約 3,100 文字）【請求項２】
前記更新プロセスは、
前記複数のグラフベクトルに基づき前記少なくとも１つのオブジェクトクエリベクトルを繰り返し更新すること、及び／又は
前記複数の画像ベクトルに基づき前記少なくとも１つのオブジェクトクエリベクトルを繰り返し更新すること、及び／又は
前記少なくとも１つのオブジェクトクエリベクトルに基づき前記複数のグラフベクトルを繰り返し更新すること
を有する、
請求項１に記載のコンピュータにより実施される方法。
【請求項３】
前記更新プロセスは、更新されたマッチングクエリベクトルを生成するよう、入力されたマッチングクエリベクトルを更新することを有し、
前記入力されたマッチングクエリベクトルの更新は、更新されたマッチングクエリベクトルを生成するよう、前記少なくとも１つのオブジェクトクエリベクトル及び前記複数のグラフベクトルに基づき、入力されたマッチングクエリベクトルを更新することを有し、
前記マッチングスコアを計算することは、前記更新されたマッチングクエリベクトルに基づき前記マッチングスコアを計算することを有する、
請求項１又は２に記載のコンピュータにより実施される方法。
【請求項４】
前記複数のグラフベクトルに基づき前記少なくとも１つのオブジェクトクエリベクトルを更新することは、前記少なくとも１つのオブジェクトクエリベクトルと前記複数のグラフベクトルとの間の相関に基づき前記少なくとも１つのオブジェクトクエリベクトルを更新することを有し、かつ／あるいは、
前記複数の画像ベクトルに基づき前記少なくとも１つのオブジェクトクエリベクトルを更新することは、前記少なくとも１つのオブジェクトクエリベクトルと前記複数の画像ベクトルとの間の相関に基づき前記少なくとも１つのオブジェクトクエリベクトルを更新することを有し、かつ／あるいは、
前記少なくとも１つのオブジェクトクエリベクトルに基づき前記複数のグラフベクトルを更新することは、前記少なくとも１つのオブジェクトクエリベクトルのうちの少なくとも１つと前記複数のグラフベクトルとの間の相関に基づき前記複数のグラフベクトルのうちの少なくとも１つを更新することを有する、
請求項１又は２に記載のコンピュータにより実施される方法。
【請求項５】
前記入力されたマッチングクエリベクトルを更新することは、前記少なくとも１つのオブジェクトクエリベクトルと前記複数のグラフベクトルとの間の類似度に基づき前記入力されたマッチングクエリベクトルを更新することを有する、
請求項３に記載のコンピュータにより実施される方法。
【請求項６】
前記入力されたシーングラフは、ラベルが予測されるべきであるマスクノードを含み、
前記コンピュータにより実施される方法は、前記入力画像に基づき前記マスクノードの前記ラベルを予測するよう、前記複数の更新されたグラフベクトル及び／又は前記少なくとも１つの更新されたオブジェクトクエリベクトルから前記マスクノードに関する情報を抽出することを有する、
請求項１又は２に記載のコンピュータにより実施される方法。
【請求項７】
入力されたシーングラフに基づいて、複数回、夫々異なる入力画像を用いて請求項１又は２に記載のコンピュータにより実施される方法を実行して、前記入力されたシーングラフに最も類似している前記入力画像のうちの少なくとも１つを見つけることを有する、
コンピュータにより実施される方法。
【請求項８】
前記入力画像及び前記入力されたシーングラフは、夫々、訓練画像及び訓練シーングラフであり、訓練領域、訓練カテゴリ、訓練マスクノードラベル、及び訓練マッチングスコアのうちの少なくとも１つと関連付けられ、
前記入力されたシーングラフは、ラベルが予測されるべきであるマスクノードを含み、
前記コンピュータにより実施される方法は、前記領域、前記カテゴリ、前記マスクノードの前記ラベル、及び前記マッチングスコアのうちの少なくとも１つを、前記訓練領域、訓練カテゴリ、訓練マスクノードラベル、及び訓練マッチングスコアのうちの少なくとも１つと夫々比較し、該比較に基づき少なくとも１つのネットワーク重みを更新することを更に有する、
請求項１又は２に記載のコンピュータにより実施される方法。
【請求項９】
コンピュータで実行される場合に、前記コンピュータに、
入力されたシーングラフに基づいて、複数のグラフベクトルを生成することと、
複数の画像ベクトルを生成するよう入力画像を符号化することと、
前記複数のグラフベクトル及び少なくとも１つのオブジェクトクエリベクトルを更新して複数の更新されたグラフベクトル及び少なくとも１つの更新されたオブジェクトクエリベクトルを生成するよう更新プロセスを実行することであり、前記更新プロセスは、
前記複数のグラフベクトルに基づき前記少なくとも１つのオブジェクトクエリベクトルを更新することと、
前記複数の画像ベクトルに基づき前記少なくとも１つのオブジェクトクエリベクトルを更新することと、
前記少なくとも１つのオブジェクトクエリベクトルに基づき前記複数のグラフベクトルを更新することと、を含む、前記実行することと、
少なくとも１つのオブジェクトの領域及び前記少なくとも１つのオブジェクトのカテゴリを示す情報を前記少なくとも１つの更新されたオブジェクトクエリベクトルから抽出することと、
前記少なくとも１つの更新されたオブジェクトクエリベクトル及び前記複数の更新されたグラフベクトルに基づき、前記入力画像と前記入力されたシーングラフとの間の類似度を示すマッチングスコアを計算することと
を有する方法を実行させるコンピュータプログラム。
【請求項１０】
メモリと、前記メモリに接続されるプロセッサとを有し、前記プロセッサは、
入力されたシーングラフに基づいて、複数のグラフベクトルを生成することと、
複数の画像ベクトルを生成するよう入力画像を符号化することと、
前記複数のグラフベクトル及び少なくとも１つのオブジェクトクエリベクトルを更新して複数の更新されたグラフベクトル及び少なくとも１つの更新されたオブジェクトクエリベクトルを生成するよう更新プロセスを実行することであり、前記更新プロセスは、
前記複数のグラフベクトルに基づき前記少なくとも１つのオブジェクトクエリベクトルを更新することと、
前記複数の画像ベクトルに基づき前記少なくとも１つのオブジェクトクエリベクトルを更新することと、
前記少なくとも１つのオブジェクトクエリベクトルに基づき前記複数のグラフベクトルを更新することと、を含む、前記実行することと、
少なくとも１つのオブジェクトの領域及び前記少なくとも１つのオブジェクトのカテゴリを示す情報を前記少なくとも１つの更新されたオブジェクトクエリベクトルから抽出することと、
前記少なくとも１つの更新されたオブジェクトクエリベクトル及び前記複数の更新されたグラフベクトルに基づき、前記入力画像と前記入力されたシーングラフとの間の類似度を示すマッチングスコアを計算することと
を実行するよう構成される、情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像解析、特に、シーングラフを使用した画像解析、すなわち、シーン検出に関係があり、本願では、コンピュータにより実施される方法、コンピュータプログラム、及び情報処理装置が開示される。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
画像及び映像内の特定のオブジェクト、動作、及びシーンを検出することは大きい需要がある（例えば、画像認識及び関し、並びにソーシャルメディア投稿、ニュース報告若しくは他の現実世界の用途のための画像及び／又は映像編集などの目的のため）。人工知能、機械学習、及びニューラルネットワーク（ＮＮ）の出現は、画像解析並びにオブジェクト検出及び分類のための技術を改善してきた。しかし、新しい用途がこのような技術に生まれるなどのために、改善の必要性が存在する。
【発明の概要】
【０００３】
上記を鑑み、シーン検出の方法が望まれている。
【０００４】
第１の態様の実施形態に従って、本願では、入力されたシーングラフに基づいて、複数のグラフベクトルを生成することと、複数の画像ベクトルを生成するよう入力画像を符号化することと、複数のグラフベクトル及び少なくとも１つのオブジェクトクエリベクトルを更新して複数の更新されたグラフベクトル及び少なくとも１つの更新されたオブジェクトクエリベクトルを生成するよう更新プロセス（デコーダ処理）を実行することであり、更新プロセスは、（少なくとも1つのオブジェクトクエリベクトルが、シーングラフ内の少なくとも1つのオブジェクトを示す情報を含むように）複数のグラフベクトルに基づき少なくとも１つのオブジェクトクエリベクトルを（繰り返し）更新することと、（入力画像内で検出された少なくとも1つの（関連）オブジェクトを示す情報を用いて）複数の画像ベクトルに基づき少なくとも１つのオブジェクトクエリベクトルを（繰り返し）更新することと、（入力画像内で検出された少なくとも1つの（関連）オブジェクトを示す情報を用いて）少なくとも１つのオブジェクトクエリベクトルに基づき複数のグラフベクトルを（繰り返し）更新することと、を含む、ことと、（入力画像内で検出された）少なくとも１つのオブジェクトの領域及び少なくとも１つのオブジェクトのカテゴリ／クラスを示す情報を少なくとも１つの更新されたオブジェクトクエリベクトルから抽出することと、少なくとも１つの更新されたオブジェクトクエリベクトル及び複数の更新されたグラフベクトル（の間の類似度／相関）に基づき、入力画像（内の検出された少なくとも1つのオブジェクト）と入力されたシーングラフとの間の類似度を示すマッチングスコアを計算することとを有するコンピュータにより実施される方法が開示される。
【０００５】
いずれかの態様／実施形態に係る特徴は、いずれかの他の態様／実施形態に適用されてもよい。
【０００６】
これより、例として、添付の図面を参照する。
【図面の簡単な説明】
【０００７】
比較法を表す図である。
比較法を表す図である。
比較法を表す図である。
システムを表す図である。
実施形態の理解に有用な図である。
更新処理の理解に有用な図である。
方法を表す図である。
システムを表す図である。
実施形態の理解に有用な結果を表す図である。
実施例を表す図である。
方法を表す図である。
システムを表す図である。
実施例を表す図である。
実施例を表す図である。
装置を表す図である。
【発明を実施するための形態】
【０００８】
以下の用語が、本明細書中で使用されることがある（リストも定義も包括的ではない。）。
【０００９】
ニューラルネットワーク：人間の脳をモデルにした機械学習ネットワーク。
【００１０】
画像エンコーダ：入力画像とは異なる方法で、例えば、ピクセルではなく画像の形式で、画像のデータを符号化する処理。圧縮を含むことがある。
（【００１１】以降は省略されています）

関連特許