特許ウォッチ

公開番号2024140576
公報種別公開特許公報(A)
公開日2024-10-10
出願番号2023051767
出願日2023-03-28
発明の名称姿勢データ生成装置及び行動認識装置
出願人セコム株式会社
代理人個人,個人,個人
主分類G06V 40/20 20220101AFI20241003BHJP(計算;計数)
要約【課題】任意に設定された制約条件を満たしつつ人間の自然な姿勢を再現した姿勢データを生成する姿勢データ生成装置及び行動認識装置を提供する。
【解決手段】姿勢データ生成装置1は、人物の姿勢データを潜在変数から生成する学習モデルとして、人物が取り得る姿勢の姿勢データを用いて学習させた姿勢生成モデルである姿勢生成部であるデコーダ10と、デコーダ10に潜在変数を入力して生成した再生姿勢データの特定部位の位置と特定部位の目標位置を示す目標値との間の誤差を算出する誤差算出手段14と、誤差に基づいて潜在変数の値を更新する潜在変数更新手段16と、を備える。デコーダ10は、潜在変数更新手段16によって更新された潜在変数を入力することにより目標姿勢データを生成する。
【選択図】図2
特許請求の範囲【請求項１】
人物の姿勢データを潜在変数から生成する学習モデルとして、人物が取り得る姿勢の姿勢データを用いて学習させた姿勢生成モデルである姿勢生成部と、
前記姿勢生成部に潜在変数を入力して生成した再生姿勢データの特定部位の位置と前記特定部位の目標位置を示す目標値との間の誤差を算出する誤差算出部と、
前記誤差に基づいて前記潜在変数の値を更新する更新部と、
を備え、
前記姿勢生成部は、前記更新部によって更新された前記潜在変数を入力することにより目標姿勢データを生成する、ことを特徴とする姿勢データ生成装置。
続きを表示（約 1,600 文字）【請求項２】
前記更新部は、誤差逆伝搬法に従って前記潜在変数の値を更新することを特徴とする請求項１に記載の姿勢データ生成装置。
【請求項３】
カメラで撮影した人物の撮像画像から前記人物の姿勢データを基準姿勢データとして生成する姿勢データ生成部を備え、
前記誤差算出部は、前記基準姿勢データにおける一以上の前記特定部位の位置を前記目標値として前記再生姿勢データと前記基準姿勢データとの間の前記誤差を算出する、
ことを特徴とする請求項１又は２に記載の姿勢データ生成装置。
【請求項４】
カメラにより部分的に撮影された人物の人体のうち前記カメラの撮像画像から検出された基準部位とその位置とを特定し、当該基準部位とその位置とを前記目標値として設定する目標値設定部を備え、
前記誤差算出部は、前記再生姿勢データのうち前記基準部位に対応する部位の位置と前記基準部位の位置との間の差分を前記誤差として算出する、
ことを特徴とする請求項１又は２に記載の姿勢データ生成装置。
【請求項５】
カメラで撮影した人物の撮像画像から前記人物の姿勢データを基準姿勢データとして生成するとともに、前記基準姿勢データの各部位の位置検出の精度を表すスコアを算出する姿勢データ生成部と、
前記スコアが閾値以上となる基準部位とその位置とを前記目標値として設定する目標値設定部と、を備え、
前記誤差算出部は、前記再生姿勢データのうち前記基準部位に対応する部位の位置と前記基準部位の位置との間の差分を前記誤差として算出する、
ことを特徴とする請求項１又は２に記載の姿勢データ生成装置。
【請求項６】
カメラで撮影した人物の撮像画像から前記人物の姿勢データを基準姿勢データとして生成する姿勢データ生成部を備え、
前記基準姿勢データにおける一以上の前記特定部位を前記目標値として選択するユーザの操作入力を受け付ける操作受付部と、
を備えることを特徴とする請求項１又は２に記載の姿勢データ生成装置。
【請求項７】
前記姿勢生成部は、人物が取り得る姿勢の姿勢データを学習させた変分オートエンコーダのデコーダであることを特徴とする請求項１又は２に記載の姿勢データ生成装置。
【請求項８】
前記デコーダは、前記変分オートエンコーダのエンコーダに入力される第１姿勢データと、所定の正規分布からサンプリングした潜在変数を前記デコーダに入力して生成した第２姿勢データと、を識別するように学習された識別器が、前記第１姿勢データが入力された前記エンコーダの出力を前記デコーダに入力して生成した第３姿勢データと前記第１姿勢データとを識別できないように学習されたデコーダであることを特徴とする請求項７に記載に姿勢データ生成装置。
【請求項９】
前記姿勢生成部は、人物が取り得る姿勢の姿勢データを学習させた敵対的生成ネットワークの生成器であることを特徴とする請求項１又は２に記載の姿勢データ生成装置。
【請求項１０】
前記更新された前記潜在変数から求めた前記再生姿勢データの特定部位の位置と前記目標値との間の前記誤差の大きさが所定値以内になるまで、前記姿勢生成部による前記再生姿勢データの生成と、前記誤差算出部による前記誤差の算出と、前記更新部による前記潜在変数の値の更新と、を繰り返し、
前記再生姿勢データの特定部位の位置と前記目標値との間の前記誤差が前記所定値以内になったときの前記再生姿勢データを、前記目標姿勢データとして取得する、
ことを特徴とする請求項１又は２に記載の姿勢データ生成装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、姿勢データ生成装置及び人物の行動を認識する行動認識装置に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
下記特許文献１には、人物の撮像画像から検出した姿勢に基づいて人物の行動を認識する行動認識方法が記載されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２２－１８９４５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ある行動を行っているときの人物の姿勢には、無数のパターンが存在する。例えば、「棚から商品を取る姿勢」を認識する場合、直立姿勢だけじゃなく、しゃがんだり、かがんだりして商品を取る姿勢も考えられる。したがって、人物姿勢に基づいて人物の行動を認識するためには、数多くの姿勢パターンが必要であり数多くの学習データを用意する必要がある。
また、人物の撮像画像から人物の姿勢データを生成する場合、骨格的にあり得ない不自然な姿勢を推定することがある。このような場合には、人間の取り得る自然な姿勢データに補正する必要がある。
本発明は、これらの問題点を鑑みてなされたものであり、任意に設定された制約条件を満たしつつ人間の自然な姿勢を再現した姿勢データを生成することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の一形態による姿勢データ生成装置は、人物の姿勢データを潜在変数から生成する学習モデルとして、人物が取り得る姿勢の姿勢データを用いて学習させた姿勢生成モデルである姿勢生成部と、姿勢生成部に潜在変数を入力して生成した再生姿勢データの特定部位の位置と特定部位の目標位置を示す目標値との間の誤差を算出する誤差算出部と、誤差に基づいて潜在変数の値を更新する更新部と、を備え、姿勢生成部は、更新部によって更新された潜在変数を入力することにより姿勢データを生成する。
【発明の効果】
【０００６】
本発明によれば、任意に設定された制約条件を満たしつつ人間の自然な姿勢を再現した姿勢データを生成できる。
【図面の簡単な説明】
【０００７】
本発明の実施形態に係る姿勢データ生成装置又は行動認識装置のハードウエア構成例を示す概略図である。
第１実施形態の姿勢データ生成装置の機能構成の一例のブロック図である。
姿勢データの一例の模式図である。
変分オートエンコーダ（ＶＡＥ）の機能構成の一例のブロック図である。
ＶＡＥＧＡＮの機能構成の一例のブロック図である。
（ａ）は潜在変数空間内の潜在変数の模式図であり、（ｂ）潜在変数の初期値から生成した再生姿勢データと目標値の模式図であり、（ｃ）更新後の潜在変数から生成した再生姿勢データの模式図である。
（ａ）～（ｃ）はドアを開ける様々な姿勢の姿勢データの模式図である。
第１実施形態の行動認識装置の機能構成の一例の模式図である。
第１実施形態の姿勢データ生成方法の一例のフローチャートである。
第２実施形態の姿勢データ生成装置の機能構成の一例のブロック図である。
【発明を実施するための形態】
【０００８】
以下において、図面を参照して本発明の実施形態を説明する。なお、以下に示す本発明の実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。
【０００９】
（第１実施形態）
図１は、本発明の実施形態に係る姿勢データ生成装置１や行動認識装置３０を実現するハードウエア構成例を示す概略図である。
姿勢データ生成装置１及び行動認識装置３０は、操作入力部２、ファイル入出力部３、記憶部４、制御部５、および出力部６からなる。これらのうちのファイル入出力部３、記憶部４および制御部５はいわゆるコンピュータで実現でき、操作入力部２および出力部６は当該コンピュータの周辺機器として実現できる。
【００１０】
操作入力部２は、キーボード、マウス等のユーザインターフェースであり、ユーザに操作されてデータの入力等に用いられる。操作入力部２は、制御部５に接続され、ユーザの操作を操作信号に変換して制御部５に出力する。
（【００１１】以降は省略されています）

関連特許