特許ウォッチ

公開番号2024050467
公報種別公開特許公報(A)
公開日2024-04-10
出願番号2023152928
出願日2023-09-20
発明の名称情報処理装置、情報処理方法及びコンピュータ読み取り可能な記憶媒体
出願人富士通株式会社
代理人個人,個人
主分類G06T 7/00 20170101AFI20240403BHJP(計算;計数)
要約【課題】情報処理装置、情報処理方法及びコンピュータ読み取り可能な記憶媒体を提供する。
【解決手段】該情報処理装置は、予め訓練されたカスケード分離ネットワークモデルにキーポイントモジュールを追加して、キーポイントモジュールが追加された予め訓練されたカスケード分離ネットワークモデルを第2のモデルとして取得するモデル調整部であって、キーポイントモジュールは、第2のモデルの入力画像における所定のオブジェクトのキーポイント特徴に基づいて第2のモデルにおけるインタラクションデコーダの入力を調整する、モデル調整部と、第2のモデルのパラメータのうちのインタラクションデコーダ、キーポイントモジュール及びインタラクション分類層のパラメータ以外のパラメータを固定した状態で、第1の訓練画像セットを用いて第2のモデルを訓練して、予測すべき画像を予測するための訓練済みの第2のモデルを取得する第2のモデル訓練部と、を含む。
【選択図】図1
特許請求の範囲【請求項１】
予め訓練されたカスケード分離ネットワークモデルにキーポイントモジュールを追加して、前記キーポイントモジュールが追加された予め訓練されたカスケード分離ネットワークモデルを第２のモデルとして取得するモデル調整部であって、前記キーポイントモジュールは、前記第２のモデルの入力画像における所定のオブジェクトのキーポイント特徴に基づいて前記第２のモデルにおけるインタラクションデコーダの入力を調整する、モデル調整部と、
前記第２のモデルのパラメータのうちの前記インタラクションデコーダ、前記キーポイントモジュール及びインタラクション分類層のパラメータ以外のパラメータを固定した状態で、第１の訓練画像セットを用いて前記第２のモデルを訓練して、予測すべき画像を予測するための訓練済みの第２のモデルを取得する第２のモデル訓練部と、を含む、情報処理装置。
続きを表示（約 1,800 文字）【請求項２】
前記インタラクションデコーダの入力は、視覚的特徴及びインタラクション照会相関値を含み、
前記インタラクション照会相関値は、前記インタラクションデコーダのインタラクション照会を初期化するために用いられ、
前記キーポイントモジュールは、前記インタラクション照会相関値のみを調整する、請求項１に記載の情報処理装置。
【請求項３】
前記キーポイントモジュールは、前記インタラクション照会相関値を調整する際に、
射影行列を用いて前記インタラクション照会相関値に対応する入力画像における所定のオブジェクトのキーポイント特徴を前記インタラクション照会相関値の次元と同一の次元に変換して、変換済みのキーポイント特徴を取得し、前記変換済みのキーポイント特徴と前記インタラクション照会相関値とを融合する、請求項２に記載の情報処理装置。
【請求項４】
前記キーポイントモジュールは、前記変換済みのキーポイント特徴と前記インタラクション照会相関値とを融合する際に、
前記変換済みのキーポイント特徴と前記インタラクション照会相関値とを加算し、或いは、
前記変換済みのキーポイント特徴に重みを設定し、重みが設定された前記変換済みのキーポイント特徴と前記インタラクション照会相関値とを加算する、請求項３に記載の情報処理装置。
【請求項５】
前記キーポイントモジュールは、前記所定のオブジェクトのキーポイント特徴を取得する際に、
前記第２のモデルにおけるオブジェクトペアデコーダを用いて前記入力画像の視覚的特徴に基づいて前記所定のオブジェクトの境界枠を取得し、前記境界枠に基づいて前記所定のオブジェクトのキーポイント特徴を取得する、請求項３又は４に記載の情報処理装置。
【請求項６】
第２の訓練画像セットを用いて初期カスケード分離ネットワークモデルを訓練して、前記予め訓練されたカスケード分離ネットワークモデルを取得する第１のモデル訓練部、をさらに含み、
前記第２の訓練画像セットと前記第１の訓練画像セットとは、少なくとも部分的に重複する、請求項１乃至４の何れかに記載の情報処理装置。
【請求項７】
予め訓練されたカスケード分離ネットワークモデルにキーポイントモジュールを追加して、前記キーポイントモジュールが追加された予め訓練されたカスケード分離ネットワークモデルを第２のモデルとして取得するステップであって、前記キーポイントモジュールは、前記第２のモデルの入力画像における所定のオブジェクトのキーポイント特徴に基づいて前記第２のモデルにおけるインタラクションデコーダの入力を調整する、ステップと、
前記第２のモデルのパラメータのうちの前記インタラクションデコーダ、前記キーポイントモジュール及びインタラクション分類層のパラメータ以外のパラメータを固定した状態で、第１の訓練画像セットを用いて前記第２のモデルを訓練して、予測すべき画像を予測するための訓練済みの第２のモデルを取得するステップと、を含む、情報処理方法。
【請求項８】
前記インタラクションデコーダの入力は、視覚的特徴及びインタラクション照会相関値を含み、
前記インタラクション照会相関値は、前記インタラクションデコーダのインタラクション照会を初期化するために用いられ、
前記キーポイントモジュールは、前記インタラクション照会相関値のみを調整する、請求項７に記載の情報処理方法。
【請求項９】
前記キーポイントモジュールは、前記インタラクション照会相関値を調整する際に、
射影行列を用いて前記インタラクション照会相関値に対応する入力画像における所定のオブジェクトのキーポイント特徴を前記インタラクション照会相関値の次元と同一の次元に変換して、変換済みのキーポイント特徴を取得し、前記変換済みのキーポイント特徴と前記インタラクション照会相関値とを融合する、請求項８に記載の情報処理方法。
【請求項１０】
命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記命令がコンピュータにより実行される際に、前記コンピュータに請求項７乃至９の何れかに記載の情報処理方法を実行させる、記憶媒体。

発明の詳細な説明【技術分野】
【０００１】
本開示は、情報処理の分野に関し、具体的には、情報処理装置、情報処理方法及びコンピュータ読み取り可能な記憶媒体に関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
近年、機械学習は、様々な分野で広く応用されている。例えば、機械学習を用いて、画像、音声などの予測（認識、分類などを含む）等を行うことができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
以下は、本開示の態様を基本的に理解させるために、本開示の簡単な概要を説明する。なお、この簡単な概要は、本開示を網羅的な概要ではなく、本開示のポイント又は重要な部分を意図的に特定するものではなく、本開示の範囲を意図的に限定するものではなく、後述するより詳細的な説明の前文として、単なる概念を簡単な形で説明することを目的とする。
【０００４】
本開示は、上記の問題を鑑み、情報処理装置、情報処理方法及びコンピュータ読み取り可能な記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本開示の１つの態様では、予め訓練されたカスケード分離ネットワークモデルにキーポイントモジュールを追加して、前記キーポイントモジュールが追加された予め訓練されたカスケード分離ネットワークモデルを第２のモデルとして取得するモデル調整部であって、前記キーポイントモジュールは、前記第２のモデルの入力画像における所定のオブジェクトのキーポイント特徴に基づいて前記第２のモデルにおけるインタラクションデコーダの入力を調整する、モデル調整部と、前記第２のモデルのパラメータのうちの前記インタラクションデコーダ、前記キーポイントモジュール及びインタラクション分類層のパラメータ以外のパラメータを固定した状態で、第１の訓練画像セットを用いて前記第２のモデルを訓練して、予測すべき画像を予測するための訓練済みの第２のモデルを取得する第２のモデル訓練部と、を含む、情報処理装置を提供する。
【０００６】
本開示のもう１つの態様では、予め訓練されたカスケード分離ネットワークモデルにキーポイントモジュールを追加して、前記キーポイントモジュールが追加された予め訓練されたカスケード分離ネットワークモデルを第２のモデルとして取得するステップであって、前記キーポイントモジュールは、前記第２のモデルの入力画像における所定のオブジェクトのキーポイント特徴に基づいて前記第２のモデルにおけるインタラクションデコーダの入力を調整する、ステップと、前記第２のモデルのパラメータのうちの前記インタラクションデコーダ、前記キーポイントモジュール及びインタラクション分類層のパラメータ以外のパラメータを固定した状態で、第１の訓練画像セットを用いて前記第２のモデルを訓練して、予測すべき画像を予測するための訓練済みの第２のモデルを取得するステップと、を含む、情報処理方法を提供する。
【０００７】
本開示の他の態様では、上記の本開示の方法を実現するためのコンピュータプログラムコード及びコンピュータプログラム製品、並びに上記の本開示の方法を実現するためのコンピュータプログラムコードが記録されているコンピュータ読み取り可能な記憶媒体をさらに提供する。
【０００８】
以下は、本開示の実施例の他の態様を説明し、特に本開示の好ましい実施例を詳細に説明するが、本開示はこれらの実施例に限定されない。
【図面の簡単な説明】
【０００９】
本開示の原理及び利点を理解させるために、図面を参照しながら本開示の各実施例を説明する。全ての図面において、同一又は類似の符号で同一又は類似の構成部を示している。ここで説明される図面は、好ましい実施例を例示するためのものであり、全ての可能な実施例ではなく、本開示の範囲を限定するものではない。
本開示の実施例に係る情報処理装置の機能的構成の一例を示すブロック図である。
予測すべき画像の一例を示す図である。
予測すべき画像の一例を示す図である。
カスケード分離ネットワークモデルのアーキテクチャの一例を示す図である。
本発明の実施例に係る情報処理装置により取得された第２のモデルのアーキテクチャの一例を示す図である。
人物ペアのインタラクション予測の一例を示す図である。
図５Ａ及び図５Ｂはそれぞれ図２Ａ及び図２Ｂから検出された人体のキーポイントの一例を示す図である。
図５Ａ及び図５Ｂはそれぞれ図２Ａ及び図２Ｂから検出された人体のキーポイントの一例を示す図である。
本発明の実施例に係る情報処理装置の他の機能の構成例を示すブロック図である。
本発明の実施例に係る情報処理装置により取得された訓練済みの第２のモデルと予め訓練されたカスケード分離ネットワークモデルとの比較を示す図である。
本発明の実施例に係る情報処理方法の流れの一例を示すフローチャートである。
本発明の実施例に適用可能なパーソナルコンピュータの例示的な構成を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら本開示の例示的な実施例を詳細に説明する。説明の便宜上、明細書には実際の実施形態の全ての特徴が示されていない。なお、実際に実施する際に、開発者の具体的な目標を実現するために、特定の実施形態を変更してもよい、例えばシステム及び業務に関する制限条件に応じて実施形態を変更してもよい。また、開発作業が非常に複雑であり、且つ時間がかかるが、本公開の当業者にとって、この開発作業は単なる例の作業である。
（【００１１】以降は省略されています）

関連特許