TOP特許意匠商標
特許ウォッチ Twitter
10個以上の画像は省略されています。
公開番号2024050467
公報種別公開特許公報(A)
公開日2024-04-10
出願番号2023152928
出願日2023-09-20
発明の名称情報処理装置、情報処理方法及びコンピュータ読み取り可能な記憶媒体
出願人富士通株式会社
代理人個人,個人
主分類G06T 7/00 20170101AFI20240403BHJP(計算;計数)
要約【課題】情報処理装置、情報処理方法及びコンピュータ読み取り可能な記憶媒体を提供する。
【解決手段】該情報処理装置は、予め訓練されたカスケード分離ネットワークモデルにキーポイントモジュールを追加して、キーポイントモジュールが追加された予め訓練されたカスケード分離ネットワークモデルを第2のモデルとして取得するモデル調整部であって、キーポイントモジュールは、第2のモデルの入力画像における所定のオブジェクトのキーポイント特徴に基づいて第2のモデルにおけるインタラクションデコーダの入力を調整する、モデル調整部と、第2のモデルのパラメータのうちのインタラクションデコーダ、キーポイントモジュール及びインタラクション分類層のパラメータ以外のパラメータを固定した状態で、第1の訓練画像セットを用いて第2のモデルを訓練して、予測すべき画像を予測するための訓練済みの第2のモデルを取得する第2のモデル訓練部と、を含む。
【選択図】図1
特許請求の範囲【請求項1】
予め訓練されたカスケード分離ネットワークモデルにキーポイントモジュールを追加して、前記キーポイントモジュールが追加された予め訓練されたカスケード分離ネットワークモデルを第2のモデルとして取得するモデル調整部であって、前記キーポイントモジュールは、前記第2のモデルの入力画像における所定のオブジェクトのキーポイント特徴に基づいて前記第2のモデルにおけるインタラクションデコーダの入力を調整する、モデル調整部と、
前記第2のモデルのパラメータのうちの前記インタラクションデコーダ、前記キーポイントモジュール及びインタラクション分類層のパラメータ以外のパラメータを固定した状態で、第1の訓練画像セットを用いて前記第2のモデルを訓練して、予測すべき画像を予測するための訓練済みの第2のモデルを取得する第2のモデル訓練部と、を含む、情報処理装置。
続きを表示(約 1,800 文字)【請求項2】
前記インタラクションデコーダの入力は、視覚的特徴及びインタラクション照会相関値を含み、
前記インタラクション照会相関値は、前記インタラクションデコーダのインタラクション照会を初期化するために用いられ、
前記キーポイントモジュールは、前記インタラクション照会相関値のみを調整する、請求項1に記載の情報処理装置。
【請求項3】
前記キーポイントモジュールは、前記インタラクション照会相関値を調整する際に、
射影行列を用いて前記インタラクション照会相関値に対応する入力画像における所定のオブジェクトのキーポイント特徴を前記インタラクション照会相関値の次元と同一の次元に変換して、変換済みのキーポイント特徴を取得し、前記変換済みのキーポイント特徴と前記インタラクション照会相関値とを融合する、請求項2に記載の情報処理装置。
【請求項4】
前記キーポイントモジュールは、前記変換済みのキーポイント特徴と前記インタラクション照会相関値とを融合する際に、
前記変換済みのキーポイント特徴と前記インタラクション照会相関値とを加算し、或いは、
前記変換済みのキーポイント特徴に重みを設定し、重みが設定された前記変換済みのキーポイント特徴と前記インタラクション照会相関値とを加算する、請求項3に記載の情報処理装置。
【請求項5】
前記キーポイントモジュールは、前記所定のオブジェクトのキーポイント特徴を取得する際に、
前記第2のモデルにおけるオブジェクトペアデコーダを用いて前記入力画像の視覚的特徴に基づいて前記所定のオブジェクトの境界枠を取得し、前記境界枠に基づいて前記所定のオブジェクトのキーポイント特徴を取得する、請求項3又は4に記載の情報処理装置。
【請求項6】
第2の訓練画像セットを用いて初期カスケード分離ネットワークモデルを訓練して、前記予め訓練されたカスケード分離ネットワークモデルを取得する第1のモデル訓練部、をさらに含み、
前記第2の訓練画像セットと前記第1の訓練画像セットとは、少なくとも部分的に重複する、請求項1乃至4の何れかに記載の情報処理装置。
【請求項7】
予め訓練されたカスケード分離ネットワークモデルにキーポイントモジュールを追加して、前記キーポイントモジュールが追加された予め訓練されたカスケード分離ネットワークモデルを第2のモデルとして取得するステップであって、前記キーポイントモジュールは、前記第2のモデルの入力画像における所定のオブジェクトのキーポイント特徴に基づいて前記第2のモデルにおけるインタラクションデコーダの入力を調整する、ステップと、
前記第2のモデルのパラメータのうちの前記インタラクションデコーダ、前記キーポイントモジュール及びインタラクション分類層のパラメータ以外のパラメータを固定した状態で、第1の訓練画像セットを用いて前記第2のモデルを訓練して、予測すべき画像を予測するための訓練済みの第2のモデルを取得するステップと、を含む、情報処理方法。
【請求項8】
前記インタラクションデコーダの入力は、視覚的特徴及びインタラクション照会相関値を含み、
前記インタラクション照会相関値は、前記インタラクションデコーダのインタラクション照会を初期化するために用いられ、
前記キーポイントモジュールは、前記インタラクション照会相関値のみを調整する、請求項7に記載の情報処理方法。
【請求項9】
前記キーポイントモジュールは、前記インタラクション照会相関値を調整する際に、
射影行列を用いて前記インタラクション照会相関値に対応する入力画像における所定のオブジェクトのキーポイント特徴を前記インタラクション照会相関値の次元と同一の次元に変換して、変換済みのキーポイント特徴を取得し、前記変換済みのキーポイント特徴と前記インタラクション照会相関値とを融合する、請求項8に記載の情報処理方法。
【請求項10】
命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記命令がコンピュータにより実行される際に、前記コンピュータに請求項7乃至9の何れかに記載の情報処理方法を実行させる、記憶媒体。

発明の詳細な説明【技術分野】
【0001】
本開示は、情報処理の分野に関し、具体的には、情報処理装置、情報処理方法及びコンピュータ読み取り可能な記憶媒体に関する。
続きを表示(約 2,300 文字)【背景技術】
【0002】
近年、機械学習は、様々な分野で広く応用されている。例えば、機械学習を用いて、画像、音声などの予測(認識、分類などを含む)等を行うことができる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
以下は、本開示の態様を基本的に理解させるために、本開示の簡単な概要を説明する。なお、この簡単な概要は、本開示を網羅的な概要ではなく、本開示のポイント又は重要な部分を意図的に特定するものではなく、本開示の範囲を意図的に限定するものではなく、後述するより詳細的な説明の前文として、単なる概念を簡単な形で説明することを目的とする。
【0004】
本開示は、上記の問題を鑑み、情報処理装置、情報処理方法及びコンピュータ読み取り可能な記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【0005】
本開示の1つの態様では、予め訓練されたカスケード分離ネットワークモデルにキーポイントモジュールを追加して、前記キーポイントモジュールが追加された予め訓練されたカスケード分離ネットワークモデルを第2のモデルとして取得するモデル調整部であって、前記キーポイントモジュールは、前記第2のモデルの入力画像における所定のオブジェクトのキーポイント特徴に基づいて前記第2のモデルにおけるインタラクションデコーダの入力を調整する、モデル調整部と、前記第2のモデルのパラメータのうちの前記インタラクションデコーダ、前記キーポイントモジュール及びインタラクション分類層のパラメータ以外のパラメータを固定した状態で、第1の訓練画像セットを用いて前記第2のモデルを訓練して、予測すべき画像を予測するための訓練済みの第2のモデルを取得する第2のモデル訓練部と、を含む、情報処理装置を提供する。
【0006】
本開示のもう1つの態様では、予め訓練されたカスケード分離ネットワークモデルにキーポイントモジュールを追加して、前記キーポイントモジュールが追加された予め訓練されたカスケード分離ネットワークモデルを第2のモデルとして取得するステップであって、前記キーポイントモジュールは、前記第2のモデルの入力画像における所定のオブジェクトのキーポイント特徴に基づいて前記第2のモデルにおけるインタラクションデコーダの入力を調整する、ステップと、前記第2のモデルのパラメータのうちの前記インタラクションデコーダ、前記キーポイントモジュール及びインタラクション分類層のパラメータ以外のパラメータを固定した状態で、第1の訓練画像セットを用いて前記第2のモデルを訓練して、予測すべき画像を予測するための訓練済みの第2のモデルを取得するステップと、を含む、情報処理方法を提供する。
【0007】
本開示の他の態様では、上記の本開示の方法を実現するためのコンピュータプログラムコード及びコンピュータプログラム製品、並びに上記の本開示の方法を実現するためのコンピュータプログラムコードが記録されているコンピュータ読み取り可能な記憶媒体をさらに提供する。
【0008】
以下は、本開示の実施例の他の態様を説明し、特に本開示の好ましい実施例を詳細に説明するが、本開示はこれらの実施例に限定されない。
【図面の簡単な説明】
【0009】
本開示の原理及び利点を理解させるために、図面を参照しながら本開示の各実施例を説明する。全ての図面において、同一又は類似の符号で同一又は類似の構成部を示している。ここで説明される図面は、好ましい実施例を例示するためのものであり、全ての可能な実施例ではなく、本開示の範囲を限定するものではない。
本開示の実施例に係る情報処理装置の機能的構成の一例を示すブロック図である。
予測すべき画像の一例を示す図である。
予測すべき画像の一例を示す図である。
カスケード分離ネットワークモデルのアーキテクチャの一例を示す図である。
本発明の実施例に係る情報処理装置により取得された第2のモデルのアーキテクチャの一例を示す図である。
人物ペアのインタラクション予測の一例を示す図である。
図5A及び図5Bはそれぞれ図2A及び図2Bから検出された人体のキーポイントの一例を示す図である。
図5A及び図5Bはそれぞれ図2A及び図2Bから検出された人体のキーポイントの一例を示す図である。
本発明の実施例に係る情報処理装置の他の機能の構成例を示すブロック図である。
本発明の実施例に係る情報処理装置により取得された訓練済みの第2のモデルと予め訓練されたカスケード分離ネットワークモデルとの比較を示す図である。
本発明の実施例に係る情報処理方法の流れの一例を示すフローチャートである。
本発明の実施例に適用可能なパーソナルコンピュータの例示的な構成を示すブロック図である。
【発明を実施するための形態】
【0010】
以下、図面を参照しながら本開示の例示的な実施例を詳細に説明する。説明の便宜上、明細書には実際の実施形態の全ての特徴が示されていない。なお、実際に実施する際に、開発者の具体的な目標を実現するために、特定の実施形態を変更してもよい、例えばシステム及び業務に関する制限条件に応じて実施形態を変更してもよい。また、開発作業が非常に複雑であり、且つ時間がかかるが、本公開の当業者にとって、この開発作業は単なる例の作業である。
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

富士通株式会社
基板連結構造
3日前
富士通株式会社
アバター制御
7日前
富士通株式会社
光伝送システムでの異常の位置特定
6日前
富士通株式会社
半導体装置及び半導体装置の製造方法
3日前
富士通株式会社
自動化されたカスタム特徴エンジニアリング
3日前
富士通株式会社
3次元人体動的着装モデル推定装置及び方法
7日前
富士通株式会社
カスタム特徴量エンジニアリングのための単位予測
2日前
富士通株式会社
通信装置、無線通信システム及び送信ランク切替方法
1日前
富士通株式会社
情報処理プログラム、情報処理方法および情報処理装置
2日前
富士通株式会社
情報処理プログラム、情報処理方法および情報処理装置
2日前
富士通株式会社
データ生成プログラム、データ生成方法およびデータ生成装置
2日前
富士通株式会社
配送計画生成プログラム、配送計画生成方法および情報処理装置
今日
富士通株式会社
自然言語推論モデルを用いたドメイン固有のテキストラベル付け
2日前
富士通株式会社
訓練データ生成プログラム、情報処理装置および訓練データ生成方法
3日前
富士通株式会社
情報処理装置、情報処理方法及びコンピュータ読み取り可能な記憶媒体
1日前
富士通株式会社
リソース再構成プログラム、リソース再構成方法および情報処理システム
8日前
武田薬品工業株式会社
患者情報の分析方法、患者情報分析装置、患者情報分析用プログラム及び記録媒体
2日前
富士通株式会社
画像コーディング装置、確率モデル生成装置及び画像デコーディング装置
6日前
個人
乗降調査装置
1か月前
個人
プロジェクター
23日前
個人
管理装置
28日前
個人
暗号化記憶媒体
7日前
個人
自動販売機
1か月前
日本精機株式会社
投影装置
1か月前
キヤノン電子株式会社
周辺機器
15日前
日本精機株式会社
投影システム
1か月前
個人
求人マッチングサーバ
15日前
株式会社SUBARU
車両
1か月前
小林クリエイト株式会社
RFタグ
1か月前
カゴメ株式会社
営農支援プログラム
14日前
カゴメ株式会社
営農支援プログラム
14日前
カゴメ株式会社
営農支援プログラム
14日前
カゴメ株式会社
営農支援プログラム
14日前
17LIVE株式会社
サーバ
1か月前
株式会社ワコム
電子ペン
8日前
アスエネ株式会社
水管理の方法
15日前
続きを見る