TOP特許意匠商標
特許ウォッチ Twitter
10個以上の画像は省略されています。
公開番号2024067989
公報種別公開特許公報(A)
公開日2024-05-17
出願番号2022178463
出願日2022-11-07
発明の名称生成プログラム、生成方法および情報処理装置
出願人富士通株式会社
代理人弁理士法人酒井国際特許事務所
主分類G06T 7/00 20170101AFI20240510BHJP(計算;計数)
要約【課題】現場での行動検知の精度を向上させることを課題とする。
【解決手段】情報処理装置は、人物を撮影した第一の画像データと、所定の場所を撮影した第二の画像データとを取得する。情報処理装置は、取得した第一の画像データを第一の機械学習モデルに入力することで、人物の形状と形状に対して付与されるテクスチャから成る3次元の人物モデルを生成する。情報処理装置は、取得した第二の画像データの中から、人物が行動する領域を特定し、カメラパラメータを用いて、特定された領域に3次元の人物モデルが配置された合成データを生成する。
【選択図】図1
特許請求の範囲【請求項1】
コンピュータに、
人物を撮影した第一の画像データと、所定の場所を撮影した第二の画像データとを取得し、
取得した前記第一の画像データを第一の機械学習モデルに入力することで、人物の形状と形状に対して付与されるテクスチャから成る3次元の人物モデルを生成し、
取得した前記第二の画像データの中から、人物が行動する領域を特定し、
カメラパラメータを用いて、特定された前記領域に3次元の人物モデルが配置された合成データを生成する、
処理を実行させることを特徴とする生成プログラム。
続きを表示(約 1,000 文字)【請求項2】
前記領域を特定する処理は、
取得された前記第二の画像データを、画像データの入力に応じて人物が行動する領域を出力する第二の機械学習モデルに入力することで、前記領域を特定する、ことを特徴とする請求項1に記載の生成プログラム。
【請求項3】
前記合成データを生成する処理は、
入力された情報に応じた姿勢に前記3次元の人物モデルの姿勢を変更し、
前記カメラパラメータを用いて、前記領域に前記姿勢が変更された前記3次元の人物モデルが配置された前記合成データを生成する、ことを特徴とする請求項1に記載の生成プログラム。
【請求項4】
前記合成データを生成する処理は、
前記第二の画像データにおける背景の奥行に関する情報を用いて、前記領域に含まれる物体の後ろに前記3次元の人物モデルが配置された合成データを生成する、ことを特徴とする請求項1に記載の生成プログラム。
【請求項5】
前記合成データが2次元の人物モデルを含む画像データを生成し、
前記画像データを訓練データとして、画像データの入力に応じて人物を識別する機械学習モデルを生成する、
処理を前記コンピュータに実行させることを特徴とする請求項1に記載の生成プログラム。
【請求項6】
コンピュータが、
人物を撮影した第一の画像データと、所定の場所を撮影した第二の画像データとを取得し、
取得した前記第一の画像データを第一の機械学習モデルに入力することで、人物の形状と形状に対して付与されるテクスチャから成る3次元の人物モデルを生成し、
取得した前記第二の画像データの中から、人物が行動する領域を特定し、
カメラパラメータを用いて、特定された前記領域に3次元の人物モデルが配置された合成データを生成する、
処理を実行することを特徴とする生成方法。
【請求項7】
人物を撮影した第一の画像データと、所定の場所を撮影した第二の画像データとを取得し、
取得した前記第一の画像データを第一の機械学習モデルに入力することで、人物の形状と形状に対して付与されるテクスチャから成る3次元の人物モデルを生成し、
取得した前記第二の画像データの中から、人物が行動する領域を特定し、
カメラパラメータを用いて、特定された前記領域に3次元の人物モデルが配置された合成データを生成する、
制御部を有することを特徴とする情報処理装置。

発明の詳細な説明【技術分野】
【0001】
本発明は、生成プログラム、生成方法および情報処理装置に関する。
続きを表示(約 2,200 文字)【背景技術】
【0002】
映像データを用いた行動認識として、映像データ内の人物検出、属性検出、姿勢推定などの技術が知られている。例えば、店舗内や工場内を撮像した映像データを機械学習モデルに入力し、機械学習モデルの出力結果を取得する。そして、機械学習モデルの出力結果を用いて、不審者の検出、体調不良者の検出、不審な行動の検出などが行われる。
【先行技術文献】
【特許文献】
【0003】
特開2012-173903号公報
特開2013-50945号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記技術では、行動認識を行う現場環境における特殊な服装、カメラ歪み、設置位置などの様々な条件により、行動認識の精度が落ちることがある。
【0005】
例えば、訓練データに含まれていない、もしくは少量の訓練データにしか含まれていない服装、カメラに対する向き、姿勢などについては、行動認識の精度が低下する。また、現場環境では物体と物体、物体と人物、人物と人物などのように、様々な重なり(オクルージョン)が発生し、行動認識の精度が低下する。
【0006】
一つの側面では、現場での行動検知の精度を向上させることができる生成プログラム、生成方法および情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
第1の案では、生成プログラムは、コンピュータに、人物を撮影した第一の画像データと、所定の場所を撮影した第二の画像データとを取得し、取得した前記第一の画像データを第一の機械学習モデルに入力することで、人物の形状と形状に対して付与されるテクスチャから成る3次元の人物モデルを生成し、取得した前記第二の画像データの中から、人物が行動する領域を特定し、カメラパラメータを用いて、特定された前記領域に3次元の人物モデルが配置された合成データを生成する、処理を実行させることを特徴とする。
【発明の効果】
【0008】
一実施形態によれば、現場での行動検知の精度を向上させることができる。
【図面の簡単な説明】
【0009】
図1は、実施例1にかかる情報処理装置を説明する図である。
図2は、実施例1にかかる情報処理装置の機能構成を示す機能ブロック図である。
図3は、3D生成モデルの訓練を説明する図である。
図4は、領域抽出モデルの訓練を説明する図である。
図5は、骨格推定モデルの訓練を説明する図である。
図6は、3Dアバターの生成を説明する図である。
図7は、歩行の動作判定を説明するための図である。
図8は、フレームから生成される3Dアバターの一例を示す図である。
図9は、3Dアバターの歩行姿勢を匿名化する処理を説明するための図である。
図10は、セマンティックセグメンテーションによる注目領域の検出を説明する図である。
図11は、骨格推定モデルを用いた動作解析を説明する図である。
図12は、トラッキングによる基準方向の設定を説明する図である。
図13は、クラスタリングを説明する図である。
図14は、クラスタの抽出を説明する図である。
図15は、注目領域の抽出を説明する図である。
図16は、セマンティックセグメンテーションの実行結果への基準線の設定を説明する図である。
図17は、基準線に基づくクラスタリングを説明する図である。
図18は、ラベル修正を説明する図である。
図19は、商品棚エリアの設定を説明する図である。
図20は、合成データの生成を説明する図である。
図21は、合成データの生成を説明する図である。
図22は、カメラパラメータの推定を説明する図(1)である。
図23は、カメラパラメータの推定を説明する図(2)である。
図24は、カメラパラメータの推定を説明する図(3)である。
図25は、各種モデルの訓練への適用を説明する図である。
図26は、実施例1にかかる合成データの生成処理の流れを示すフローチャートである。
図27は、実施例2にかかる情報処理装置を説明する図である。
図28は、実施例2にかかる情報処理装置の機能構成を示す機能ブロック図である。
図29は、行動ルールDBを説明する図である。
図30は、行動ルールに基づく合成データの生成を説明する図である。
図31は、実施例2にかかる合成データを用いた機械学習モデルの評価処理の流れを示すフローチャートである。
図32は、3Dアバターの配置例を説明する図である。
図33は、ハードウェア構成例を説明する図である。
【発明を実施するための形態】
【0010】
以下に、本願の開示する生成プログラム、生成方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
【実施例】
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

富士通株式会社
基板連結構造
23日前
富士通株式会社
アバター制御
27日前
富士通株式会社
画像処理方法
8日前
富士通株式会社
光信号パワー利得
19日前
富士通株式会社
キャッシュメモリ
1か月前
富士通株式会社
増幅装置及び増幅方法
9日前
富士通株式会社
演算装置および演算方法
13日前
富士通株式会社
電子装置及び改竄検知方法
6日前
富士通株式会社
演算回路及び演算処理方法
9日前
富士通株式会社
物体検出システム及び方法
14日前
富士通株式会社
生成プログラムおよび生成方法
1か月前
富士通株式会社
情報処理装置および情報処理方法
1か月前
富士通株式会社
光伝送システムでの異常の位置特定
26日前
富士通株式会社
業務管理プログラム、装置、及び方法
1か月前
富士通株式会社
半導体装置及び半導体装置の製造方法
23日前
富士通株式会社
病変検出方法および病変検出プログラム
9日前
富士通株式会社
移相量調整装置、及び、移相量調整方法
16日前
富士通株式会社
情報処理プログラムおよび情報処理装置
今日
富士通株式会社
情報処理方法および情報処理プログラム
8日前
富士通株式会社
スイッチング電源、増幅装置及び通信装置
8日前
富士通株式会社
プログラム、算出方法および情報処理装置
1日前
富士通株式会社
物品数量を検出する装置と方法及び電子機器
13日前
富士通株式会社
働きかけ表示方法、働きかけ表示プログラム
9日前
富士通株式会社
クエリ実行方法およびクエリ実行プログラム
16日前
富士通株式会社
自動化されたカスタム特徴エンジニアリング
23日前
富士通株式会社
3次元人体動的着装モデル推定装置及び方法
27日前
富士通株式会社
車両経路選択問題及びその変形例の経路生成
6日前
富士通株式会社
制御プログラム,制御方法及び情報処理装置
1か月前
富士通株式会社
物品数量を検出する装置と方法及び電子機器
13日前
富士通株式会社
生成プログラム、生成方法および情報処理装置
1か月前
富士通株式会社
生成プログラム、生成方法および情報処理装置
1か月前
富士通株式会社
予測プログラム、情報処理装置および予測方法
1か月前
富士通株式会社
探索プログラム、探索システム、及び探索方法
1か月前
富士通株式会社
データ処理装置、プログラム及びデータ処理方法
12日前
富士通株式会社
データ処理装置、プログラム及びデータ処理方法
9日前
富士通株式会社
表示プログラム及び表示方法、並びに情報処理装置
1か月前
続きを見る