特許ウォッチ

公開番号2024067990
公報種別公開特許公報(A)
公開日2024-05-17
出願番号2022178464
出願日2022-11-07
発明の名称生成プログラム、生成方法および情報処理装置
出願人富士通株式会社
代理人弁理士法人酒井国際特許事務所
主分類G06T 7/00 20170101AFI20240510BHJP(計算;計数)
要約【課題】現場での行動検知の精度を向上させることを課題とする。
【解決手段】情報処理装置は、人物の行動の要素を示すルールを特定する。情報処理装置は、特定したルールに合致した姿勢を示す人物のモデルを生成する。情報処理装置は、カメラパラメータを用いて、画像データの中に人物のモデルが配置された合成データを生成する。防犯やリテール、製造、業務効率化など、様々なシーンに適した映像分析ソリューションを提供できる。
【選択図】図27
特許請求の範囲【請求項１】
コンピュータに、
人物の行動の要素を示すルールを特定し、
特定した前記ルールに合致した姿勢を示す人物のモデルを生成し、
カメラパラメータを用いて、画像データの中に人物のモデルが配置された合成データを生成する、
処理を実行させることを特徴とする生成プログラム。
続きを表示（約 1,400 文字）【請求項２】
生成された前記合成データを機械学習モデルに入力することで、前記ルールに合致する条件を前記機械学習モデルが示すか否かを判定する、
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の生成プログラム。
【請求項３】
前記判定する処理は、
前記合成データを機械学習モデルに入力して得られた前記機械学習モデルの出力結果が、前記ルールに合致する条件を示さない場合に、前記合成データを用いて、前記機械学習モデルの訓練を実行する、ことを特徴とする請求項２に記載の生成プログラム。
【請求項４】
前記判定する処理は、
画像データ内の人物を検出する人物検出モデル、画像データ内の人物の属性を推定する属性推定モデル、画像データ内の人物の骨格情報を推定する骨格推定モデルのそれぞれに、前記合成データを入力し、
前記合成データの入力に基づく出力結果に基づき、訓練対象のモデルを決定する、ことを特徴とする請求項３に記載の生成プログラム。
【請求項５】
前記特定する処理は、
行動毎に人物が行動する領域と人物が行動するときの姿勢とを規定した複数のルールから、指定された条件に応じたルールを特定し、
前記モデルを生成する処理は、
前記指定された条件に応じたルールに規定される姿勢を示す前記人物のモデルを生成し、
前記合成データを生成する処理は、
前記画像データ内の前記指定された条件に応じたルールに規定される領域に、前記カメラパラメータを用いて前記姿勢を示す前記人物のモデルを配置した前記合成データを生成する、ことを特徴とする請求項４に記載の生成プログラム。
【請求項６】
前記合成データを生成する処理は、
異なる各場所を撮影した複数の画像データそれぞれから、各画像データにおいて人物が行動する領域を特定し、
前記複数の画像データから、前記指定された条件に応じたルールに該当する画像データおよび前記領域を選定し、
選定された前記画像データ内の前記指定された条件に応じたルールに規定される領域に、前記カメラパラメータを用いて前記姿勢を示す前記人物のモデルを配置した前記合成データを生成する、ことを特徴とする請求項５に記載の生成プログラム。
【請求項７】
前記合成データは、前記画像データの中に設定されるＲＯＩ（Region Of Interest）に、前記ルールに基づく特定の行動を行う３Ｄアバターを配置した画像である、
ことを特徴とする請求項１に記載の生成プログラム。
【請求項８】
コンピュータが、
人物の行動の要素を示すルールを特定し、
特定した前記ルールに合致した姿勢を示す人物のモデルを生成し、
カメラパラメータを用いて、画像データの中に人物のモデルが配置された合成データを生成する、
処理を実行することを特徴とする生成方法。
【請求項９】
人物の行動の要素を示すルールを特定し、
特定した前記ルールに合致した姿勢を示す人物のモデルを生成し、
カメラパラメータを用いて、画像データの中に人物のモデルが配置された合成データを生成する、
制御部を有することを特徴とする情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、生成プログラム、生成方法および情報処理装置に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
映像データを用いた行動認識として、映像データ内の人物検出、属性検出、姿勢推定などの技術が知られている。例えば、店舗内や工場内を撮像した映像データを機械学習モデルに入力し、機械学習モデルの出力結果を取得する。そして、機械学習モデルの出力結果を用いて、不審者の検出、体調不良者の検出、不審な行動の検出などが行われる。
【先行技術文献】
【特許文献】
【０００３】
特開２０１２－１７３９０３号公報
特開２０１３－５０９４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記技術では、行動認識を行う現場環境における特殊な服装、カメラ歪み、設置位置などの様々な条件により、行動認識の精度が落ちることがある。
【０００５】
例えば、訓練データに含まれていない、もしくは少量の訓練データにしか含まれていない服装、カメラに対する向き、姿勢などについては、行動認識の精度が低下する。また、現場環境では物体と物体、物体と人物、人物と人物などのように、様々な重なり（オクルージョン）が発生し、行動認識の精度が低下する。
【０００６】
一つの側面では、現場での行動検知の精度を向上させることができる生成プログラム、生成方法および情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
第１の案では、生成プログラムは、コンピュータに、人物の行動の要素を示すルールを特定し、特定した前記ルールに合致した姿勢を示す人物のモデルを生成し、カメラパラメータを用いて、画像データの中に人物のモデルが配置された合成データを生成する、処理を実行させることを特徴とする。
【発明の効果】
【０００８】
一実施形態によれば、現場での行動検知の精度を向上させることができる。
【図面の簡単な説明】
【０００９】
図１は、実施例１にかかる情報処理装置を説明する図である。
図２は、実施例１にかかる情報処理装置の機能構成を示す機能ブロック図である。
図３は、３Ｄ生成モデルの訓練を説明する図である。
図４は、領域抽出モデルの訓練を説明する図である。
図５は、骨格推定モデルの訓練を説明する図である。
図６は、３Ｄアバターの生成を説明する図である。
図７は、歩行の動作判定を説明するための図である。
図８は、フレームから生成される３Ｄアバターの一例を示す図である。
図９は、３Ｄアバターの歩行姿勢を匿名化する処理を説明するための図である。
図１０は、セマンティックセグメンテーションによる注目領域の検出を説明する図である。
図１１は、骨格推定モデルを用いた動作解析を説明する図である。
図１２は、トラッキングによる基準方向の設定を説明する図である。
図１３は、クラスタリングを説明する図である。
図１４は、クラスタの抽出を説明する図である。
図１５は、注目領域の抽出を説明する図である。
図１６は、セマンティックセグメンテーションの実行結果への基準線の設定を説明する図である。
図１７は、基準線に基づくクラスタリングを説明する図である。
図１８は、ラベル修正を説明する図である。
図１９は、商品棚エリアの設定を説明する図である。
図２０は、合成データの生成を説明する図である。
図２１は、合成データの生成を説明する図である。
図２２は、カメラパラメータの推定を説明する図（１）である。
図２３は、カメラパラメータの推定を説明する図（２）である。
図２４は、カメラパラメータの推定を説明する図（３）である。
図２５は、各種モデルの訓練への適用を説明する図である。
図２６は、実施例１にかかる合成データの生成処理の流れを示すフローチャートである。
図２７は、実施例２にかかる情報処理装置を説明する図である。
図２８は、実施例２にかかる情報処理装置の機能構成を示す機能ブロック図である。
図２９は、行動ルールＤＢを説明する図である。
図３０は、行動ルールに基づく合成データの生成を説明する図である。
図３１は、実施例２にかかる合成データを用いた機械学習モデルの評価処理の流れを示すフローチャートである。
図３２は、３Ｄアバターの配置例を説明する図である。
図３３は、ハードウェア構成例を説明する図である。
【発明を実施するための形態】
【００１０】
以下に、本願の開示する生成プログラム、生成方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
【実施例】
（【００１１】以降は省略されています）

関連特許