特許ウォッチ

公開番号2024067989
公報種別公開特許公報(A)
公開日2024-05-17
出願番号2022178463
出願日2022-11-07
発明の名称生成プログラム、生成方法および情報処理装置
出願人富士通株式会社
代理人弁理士法人酒井国際特許事務所
主分類G06T 7/00 20170101AFI20240510BHJP(計算;計数)
要約【課題】現場での行動検知の精度を向上させることを課題とする。
【解決手段】情報処理装置は、人物を撮影した第一の画像データと、所定の場所を撮影した第二の画像データとを取得する。情報処理装置は、取得した第一の画像データを第一の機械学習モデルに入力することで、人物の形状と形状に対して付与されるテクスチャから成る3次元の人物モデルを生成する。情報処理装置は、取得した第二の画像データの中から、人物が行動する領域を特定し、カメラパラメータを用いて、特定された領域に3次元の人物モデルが配置された合成データを生成する。
【選択図】図1
特許請求の範囲【請求項１】
コンピュータに、
人物を撮影した第一の画像データと、所定の場所を撮影した第二の画像データとを取得し、
取得した前記第一の画像データを第一の機械学習モデルに入力することで、人物の形状と形状に対して付与されるテクスチャから成る３次元の人物モデルを生成し、
取得した前記第二の画像データの中から、人物が行動する領域を特定し、
カメラパラメータを用いて、特定された前記領域に３次元の人物モデルが配置された合成データを生成する、
処理を実行させることを特徴とする生成プログラム。
続きを表示（約 1,000 文字）【請求項２】
前記領域を特定する処理は、
取得された前記第二の画像データを、画像データの入力に応じて人物が行動する領域を出力する第二の機械学習モデルに入力することで、前記領域を特定する、ことを特徴とする請求項１に記載の生成プログラム。
【請求項３】
前記合成データを生成する処理は、
入力された情報に応じた姿勢に前記３次元の人物モデルの姿勢を変更し、
前記カメラパラメータを用いて、前記領域に前記姿勢が変更された前記３次元の人物モデルが配置された前記合成データを生成する、ことを特徴とする請求項１に記載の生成プログラム。
【請求項４】
前記合成データを生成する処理は、
前記第二の画像データにおける背景の奥行に関する情報を用いて、前記領域に含まれる物体の後ろに前記３次元の人物モデルが配置された合成データを生成する、ことを特徴とする請求項１に記載の生成プログラム。
【請求項５】
前記合成データが２次元の人物モデルを含む画像データを生成し、
前記画像データを訓練データとして、画像データの入力に応じて人物を識別する機械学習モデルを生成する、
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の生成プログラム。
【請求項６】
コンピュータが、
人物を撮影した第一の画像データと、所定の場所を撮影した第二の画像データとを取得し、
取得した前記第一の画像データを第一の機械学習モデルに入力することで、人物の形状と形状に対して付与されるテクスチャから成る３次元の人物モデルを生成し、
取得した前記第二の画像データの中から、人物が行動する領域を特定し、
カメラパラメータを用いて、特定された前記領域に３次元の人物モデルが配置された合成データを生成する、
処理を実行することを特徴とする生成方法。
【請求項７】
人物を撮影した第一の画像データと、所定の場所を撮影した第二の画像データとを取得し、
取得した前記第一の画像データを第一の機械学習モデルに入力することで、人物の形状と形状に対して付与されるテクスチャから成る３次元の人物モデルを生成し、
取得した前記第二の画像データの中から、人物が行動する領域を特定し、
カメラパラメータを用いて、特定された前記領域に３次元の人物モデルが配置された合成データを生成する、
制御部を有することを特徴とする情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、生成プログラム、生成方法および情報処理装置に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
映像データを用いた行動認識として、映像データ内の人物検出、属性検出、姿勢推定などの技術が知られている。例えば、店舗内や工場内を撮像した映像データを機械学習モデルに入力し、機械学習モデルの出力結果を取得する。そして、機械学習モデルの出力結果を用いて、不審者の検出、体調不良者の検出、不審な行動の検出などが行われる。
【先行技術文献】
【特許文献】
【０００３】
特開２０１２－１７３９０３号公報
特開２０１３－５０９４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記技術では、行動認識を行う現場環境における特殊な服装、カメラ歪み、設置位置などの様々な条件により、行動認識の精度が落ちることがある。
【０００５】
例えば、訓練データに含まれていない、もしくは少量の訓練データにしか含まれていない服装、カメラに対する向き、姿勢などについては、行動認識の精度が低下する。また、現場環境では物体と物体、物体と人物、人物と人物などのように、様々な重なり（オクルージョン）が発生し、行動認識の精度が低下する。
【０００６】
一つの側面では、現場での行動検知の精度を向上させることができる生成プログラム、生成方法および情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
第１の案では、生成プログラムは、コンピュータに、人物を撮影した第一の画像データと、所定の場所を撮影した第二の画像データとを取得し、取得した前記第一の画像データを第一の機械学習モデルに入力することで、人物の形状と形状に対して付与されるテクスチャから成る３次元の人物モデルを生成し、取得した前記第二の画像データの中から、人物が行動する領域を特定し、カメラパラメータを用いて、特定された前記領域に３次元の人物モデルが配置された合成データを生成する、処理を実行させることを特徴とする。
【発明の効果】
【０００８】
一実施形態によれば、現場での行動検知の精度を向上させることができる。
【図面の簡単な説明】
【０００９】
図１は、実施例１にかかる情報処理装置を説明する図である。
図２は、実施例１にかかる情報処理装置の機能構成を示す機能ブロック図である。
図３は、３Ｄ生成モデルの訓練を説明する図である。
図４は、領域抽出モデルの訓練を説明する図である。
図５は、骨格推定モデルの訓練を説明する図である。
図６は、３Ｄアバターの生成を説明する図である。
図７は、歩行の動作判定を説明するための図である。
図８は、フレームから生成される３Ｄアバターの一例を示す図である。
図９は、３Ｄアバターの歩行姿勢を匿名化する処理を説明するための図である。
図１０は、セマンティックセグメンテーションによる注目領域の検出を説明する図である。
図１１は、骨格推定モデルを用いた動作解析を説明する図である。
図１２は、トラッキングによる基準方向の設定を説明する図である。
図１３は、クラスタリングを説明する図である。
図１４は、クラスタの抽出を説明する図である。
図１５は、注目領域の抽出を説明する図である。
図１６は、セマンティックセグメンテーションの実行結果への基準線の設定を説明する図である。
図１７は、基準線に基づくクラスタリングを説明する図である。
図１８は、ラベル修正を説明する図である。
図１９は、商品棚エリアの設定を説明する図である。
図２０は、合成データの生成を説明する図である。
図２１は、合成データの生成を説明する図である。
図２２は、カメラパラメータの推定を説明する図（１）である。
図２３は、カメラパラメータの推定を説明する図（２）である。
図２４は、カメラパラメータの推定を説明する図（３）である。
図２５は、各種モデルの訓練への適用を説明する図である。
図２６は、実施例１にかかる合成データの生成処理の流れを示すフローチャートである。
図２７は、実施例２にかかる情報処理装置を説明する図である。
図２８は、実施例２にかかる情報処理装置の機能構成を示す機能ブロック図である。
図２９は、行動ルールＤＢを説明する図である。
図３０は、行動ルールに基づく合成データの生成を説明する図である。
図３１は、実施例２にかかる合成データを用いた機械学習モデルの評価処理の流れを示すフローチャートである。
図３２は、３Ｄアバターの配置例を説明する図である。
図３３は、ハードウェア構成例を説明する図である。
【発明を実施するための形態】
【００１０】
以下に、本願の開示する生成プログラム、生成方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
【実施例】
（【００１１】以降は省略されています）

関連特許