特許ウォッチ

公開番号2025017207
公報種別公開特許公報(A)
公開日2025-02-05
出願番号2023120178
出願日2023-07-24
発明の名称情報処理装置、情報処理方法、及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 7/20 20170101AFI20250129BHJP(計算;計数)
要約【課題】時系列行動の認識を実現する際のユーザ負荷を低減する情報処理装置、情報処理方法及びプログラムを提供する。
【解決手段】方法は、複数の映像を取得し、取得した映像から被写体の行動を複数認識する。単一行動の認識処理として、深層学習によって獲得したモデルを用いて、処理対象とした映像からの人体検出、人体追尾、姿勢推定、及び行動認識の各処理を行う。情報処理装置はさらに、単一行動情報リストを生成し、生成した単一行動情報リストを保存し、処理対象とする映像が残っているか否かの判定を行う。
【選択図】図7
特許請求の範囲【請求項１】
複数の映像を取得する取得手段と、
前記映像から、被写体の行動を複数認識する認識手段と、
認識された前記行動間の時系列的な相関関係を評価する第１の評価手段と、
前記時系列的な相関関係の評価に基づいて前記行動のセットをグループ化するグループ化手段と、
グループ化した前記行動のセットを出力する出力手段と、
を備えることを特徴とする、情報処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記第１の評価手段は、前記複数の映像から認識された被写体の第１の行動と、前記複数の映像から認識された被写体の第２の行動との時系列的な相関関係として、前記第２の行動が前記第１の行動から時系列的に連続して発生する確率を評価し、
前記グループ化手段は、前記確率が所定の閾値以上となる場合に、前記第１の行動と前記第２の行動とをグループ化することを特徴とする、請求項１に記載の情報処理装置。
【請求項３】
前記グループ化手段は、前記行動のセットとして、所定の数の行動をグループ化することを特徴とする、請求項１に記載の情報処理装置。
【請求項４】
前記認識手段により認識された前記行動のうちの第３の行動を選択する選択手段をさらに備え、
前記グループ化手段は、前記行動のセットとして、前記第３の行動を含む前記所定の数の行動をグループ化することを特徴とする、請求項３に記載の情報処理装置。
【請求項５】
前記グループ化手段は、前記行動のセットをグループ化するために、前記第３の行動から時系列的に後続する行動を前記行動のセットに追加する第１のグループ化処理と、前記第３の行動から時系列的に先行する行動を前記行動のセットに追加する第２のグループ化処理と、を行うことを特徴とする、請求項４に記載の情報処理装置。
【請求項６】
前記選択手段は、前記認識手段により認識された前記行動から、ユーザの入力に基づいて前記第３の行動を選択することを特徴とする、請求項４に記載の情報処理装置。
【請求項７】
前記認識手段が認識した行動のうちの少なくとも１つの行動をユーザに提示する提示手段をさらに備え
前記選択手段は、前記提示手段により提示された前記少なくとも１つの行動のうちから、ユーザの入力に基づいて前記第３の行動を選択することを特徴とする、請求項６に記載の情報処理装置。
【請求項８】
グループ化した前記行動のセットを表示装置に表示させる制御手段をさらに備えることを特徴とする、請求項１に記載の情報処理装置。
【請求項９】
前記制御手段は、時系列に沿った順序で前記行動のセットを前記表示装置に表示させることを特徴とする、請求項８に記載の情報処理装置。
【請求項１０】
認識した前記被写体の行動を種別ごとにノードとし、前記時系列的な相関関係の評価を前記ノード間のエッジとするグラフを生成する生成手段をさらに備え、
前記制御手段は、前記行動のセット、前記グラフとして前記表示装置に表示させることを特徴とする、請求項８に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
映像における人物の行動認識技術では、一般的に、人物領域を切り出した複数フレームの時系列画像を入力として、人物領域の特徴を抽出し、時系列特徴から行動の判定が行われる。特徴の抽出には機械学習によって学習したモデルが用いられ、モデルの学習には時系列画像に「手を上げる」又は「しゃがむ」といった行動ラベルを付与した学習データが用いられている。
【０００３】
非特許文献１では、一般的な行動を行動ラベルとして定義したデータセットを用いて深層学習によってモデルを獲得することで、行動の認識を実現している。また、特許文献１では、水を飲むといった詳細な行動を定義し、時系列特徴の類似度から行動ラベルをクラスタリングすることで、顔に手を近づけるといった上位行動を定義し、学習に用いる学習方法を提案している。
【０００４】
しかしながら、行動認識を様々なユースケースに適用する場合、適用先によって認識したい時系列行動の定義は異なる。例えば、顧客の購買行動を認識する場合には、棚から商品を取ってラベルを見る、という行動を認識する必要があり、工場の作業分析を行う場合には、トレーから部品を取ってつける、という行動を認識する必要がある。このように全てのユースケースの全ての行動を事前に行動ラベルとして用意するにはユーザ負荷が高い。そのため、ユーザ負荷が少なくなるような時系列行動の認識方法が望まれている。
【先行技術文献】
【特許文献】
【０００５】
特開２０２２－７２４４４号公報
【非特許文献】
【０００６】
Sijie Yan et al, "Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition", AAAI 2018, Article No.: 912, page 7444-7452, February 2018
Alexey Bochkovskiy et al, "YOLOv4: Optimal Speed and Accuracy of Object Detection", CVPR2020, April 2020
Yifu Zhang et al, "FairMOT: On the Fairness of Detection and Re-Identification in Multiple Object Tracking", CVPR2020, April 2020
Ke Sun et al, "Deep High-Resolution Representation Learning for Human Pose Estimation", CVPR2019, February 2019
Ce Zheng et al, "3D Human Pose Estimation with Spatial and Temporal Transformers" ICCV2021, March 2021
【発明の概要】
【発明が解決しようとする課題】
【０００７】
認識対象とする時系列行動の行動ラベルを映像に付与して学習した機械学習モデルにより行動の認識を行う場合、全ての行動ラベルを付与する必要があるため、ユーザ負荷が高い。
【０００８】
本発明は、時系列行動の認識を実現する際のユーザ負荷を低減することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の目的を達成するために、例えば、一実施形態に係る情報処理装置は以下の構成を備える。すなわち、複数の映像を取得する取得手段と、前記映像から、被写体の行動を複数認識する認識手段と、認識された前記行動間の時系列的な相関関係を評価する第１の評価手段と、前記時系列的な相関関係の評価に基づいて前記行動のセットをグループ化するグループ化手段と、グループ化した前記行動のセットを出力する出力手段と、を備える。
【発明の効果】
【００１０】
時系列行動の認識を実現する際のユーザ負荷を低減する。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許