特許ウォッチ

公開番号2023183533
公報種別公開特許公報(A)
公開日2023-12-28
出願番号2022097098
出願日2022-06-16
発明の名称物品判別システム
出願人株式会社アジラ
代理人個人
主分類G06V 10/74 20220101AFI20231221BHJP(計算;計数)
要約【課題】映像に映った人物が移動させた物品を簡易かつ低負荷な構成で判別する物品判別システムを提供する。
【解決手段】物品判別システムにおける物品判別方法は、学習段階と判別段階を含む。学習段階においては、サンプル人物Z1がサンプル物品P1を移動させる際のサンプル映像Y1からサンプル人物Z1の体の対象部分の動きを検出し、複数のサンプル人物Z1及び複数のサンプル物品P1に関して、検出された動きをサンプル物品P1の重さ、形状及びサイズの少なくとも1つを含む物品情報と紐づけて学習する。物品はその物品情報と紐づけて登録しておく。判別段階では、対象人物Zが対象物品Pを移動させる際の対象映像Yから対象人物Zの体の対象部分の動きを検出し、学習されたデータを参照して、検出された動きに対応する物品情報を抽出し、登録されたデータを参照して、抽出された物品情報に対応する物品を対象物品Pと判別する。
【選択図】図3
特許請求の範囲【請求項１】
サンプル人物がサンプル物品を移動させる際のサンプル映像を取得する第１の取得部と、
前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出する第１の検出部と、
複数のサンプル人物及び複数のサンプル物品に関して、前記第１の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも１つを含む物品情報と紐づけて学習する学習部と、
物品を、その前記物品情報と紐づけて登録可能な登録部と、
対象人物が対象物品を移動させる際の対象映像を取得する第２の取得部と、
前記対象映像に映った対象人物の体の対象部分の動きを検出する第２の検出部と、
前記学習部を参照して、前記第２の検出部により検出された動きに対応する物品情報を抽出する抽出部と、
前記登録部を参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別する判別部と、
を備えたことを特徴とする物品判別システム。
続きを表示（約 3,100 文字）【請求項２】
前記登録部は、物品を、更にその色彩と紐づけて登録可能であり、
前記第２の検出部は、前記対象人物の前記対象部分に接し、前記対象人物の動きに連動して動く部分の色彩を更に検出し、
前記判別部は、前記登録部を参照して、前記第２の検出部により検出された色彩、及び、前記抽出された物品情報の両方に対応する物品を前記対象物品と判別することを特徴とする請求項１に記載の物品判別システム。
【請求項３】
前記学習部は、前記第１の検出部により検出された動きを更に前記サンプル人物の体格情報と紐づけて学習し、
前記第２の検出部は、前記対象映像に映った対象人物の体格を更に検出し、
前記抽出部は、前記学習部を参照して、前記第２の検出部により検出された動き及び体格の両方に対応する物品情報を抽出することを特徴とする請求項１に記載の物品判別システム。
【請求項４】
前記学習部は、前記第１の検出部により検出された動きを更に前記サンプル人物の姿勢と紐づけて学習し、
前記第２の検出部は、前記対象映像に映った対象人物の姿勢を更に検出し、
前記抽出部は、前記学習部を参照して、前記第２の検出部により検出された動き及び姿勢の両方に対応する物品情報を抽出することを特徴とする請求項１に記載の物品判別システム。
【請求項５】
前記抽出された物品情報を短期記憶情報として記憶可能な短期記憶部を更に備え、
前記抽出された物品情報が前記短期記憶部に記憶されている短期記憶情報から所定以上変化した場合に、前記短期記憶情報は前記短期記憶部から消去されることを特徴とする請求項１に記載の物品判別システム。
【請求項６】
物品を、その物品情報と紐づけて登録可能なコンピュータに実行させるプログラムであって、
サンプル人物がサンプル物品を移動させる際のサンプル映像を取得するステップと、
前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出するステップと、
複数のサンプル人物及び複数のサンプル物品に関して、前記第１の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも１つを含む物品情報と紐づけて学習するステップと、
対象人物が対象物品を移動させる際の対象映像を取得するステップと、
前記対象映像に映った対象人物の体の対象部分の動きを検出するステップと、
前記学習によって得られたデータを参照して、前記検出された前記対象人物の体の対象部分の動きに対応する物品情報を抽出するステップと、
前記登録されたデータを参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別するステップ部と、
を備えたことを特徴とする物品判別プログラム。
【請求項７】
物品を、その物品情報と紐づけて登録可能なコンピュータで実行される方法であって、
サンプル人物がサンプル物品を移動させる際のサンプル映像を取得するステップと、
前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出するステップと、
複数のサンプル人物及び複数のサンプル物品に関して、前記第１の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも１つを含む物品情報と紐づけて学習するステップと、
対象人物が対象物品を移動させる際の対象映像を取得するステップと、
前記対象映像に映った対象人物の体の対象部分の動きを検出するステップと、
前記学習によって得られたデータを参照して、前記検出された前記対象人物の体の対象部分の動きに対応する物品情報を抽出するステップと、
前記登録されたデータを参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別するステップ部と、
を備えたことを特徴とする物品判別方法。
【請求項８】
サンプル人物がサンプル物品を移動させる際のサンプル映像を取得する第１の取得部と、前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出する第１の検出部と、複数のサンプル人物及び複数のサンプル物品に関して、前記第１の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも１つを含む物品情報と紐づけて学習する学習部と、を有する学習装置と通信可能な物品判別装置であって、
物品を、その前記物品情報と紐づけて登録可能な登録部と、
対象人物が対象物品を移動させる際の対象映像を取得する第２の取得部と、
前記対象映像に映った対象人物の体の対象部分の動きを検出する第２の検出部と、
前記学習部を参照して、前記第２の検出部により検出された動きに対応する物品情報を抽出する抽出部と、
前記登録部を参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別する判別部と、
を備えたことを特徴とする物品判別装置。
【請求項９】
サンプル人物がサンプル物品を移動させる際のサンプル映像を取得する第１の取得部と、前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出する第１の検出部と、複数のサンプル人物及び複数のサンプル物品に関して、前記第１の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも１つを含む物品情報と紐づけて学習する学習部と、物品を、その前記物品情報と紐づけて登録可能な登録部と、を有する学習装置と通信可能、かつ、物品を、その物品情報と紐づけて登録可能なコンピュータに実行させるプログラムであって、
対象人物が対象物品を移動させる際の対象映像を取得するステップと、
前記対象映像に映った対象人物の体の対象部分の動きを検出するステップと、
前記学習によって得られたデータを参照して、前記検出された前記対象人物の体の対象部分の動きに対応する物品情報を抽出するステップと、
前記登録されたデータを参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別するステップ部と、
を備えたことを特徴とする物品判別プログラム。
【請求項１０】
サンプル人物がサンプル物品を移動させる際のサンプル映像を取得する第１の取得部と、前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出する第１の検出部と、複数のサンプル人物及び複数のサンプル物品に関して、前記第１の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも１つを含む物品情報と紐づけて学習する学習部と、物品を、その前記物品情報と紐づけて登録可能な登録部と、を有する学習装置と通信可能、かつ、物品を、その物品情報と紐づけて登録可能なコンピュータで実行される方法であって、
対象人物が対象物品を移動させる際の対象映像を取得するステップと、
前記対象映像に映った対象人物の体の対象部分の動きを検出するステップと、
前記学習によって得られたデータを参照して、前記検出された前記対象人物の体の対象部分の動きに対応する物品情報を抽出するステップと、
前記登録されたデータを参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別するステップ部と、
を備えたことを特徴とする物品判別方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、映像に映った人物が移動させた物品を簡易かつ低負荷な構成で判別することが可能な物品判別システムに関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
従来より、時系列データに映った人間の関節等から姿勢を検知し、当該姿勢の変化に応じて行動を認識する装置が知られている。（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
特許第６５２５１７９号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記技術では、例えば、人間が物品を“持ち上げる”という行動を認識することは可能であるが、どのような物品を持ち上げているかを認識するためには、物品自体を認識するための構成が別途必要になってしまう。
【０００５】
物品自体を認識するための構成としては、例えば、物品ごとにシルエット等を登録しておき、シルエット等が一致するか否かを判別する等が考えられるが、この場合、物品の向きに応じて何十～何百通りものシルエットを登録しておき、その中から上記判別を行うこととなってしまうので、コンピュータにかかる負荷が大幅に増大してしまう。
【０００６】
そこで、本発明は、映像に映った人物が移動させた物品を簡易かつ低負荷な構成で判別することが可能な物品判別システムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明は、サンプル人物がサンプル物品を移動させる際のサンプル映像を取得する第１の取得部と、前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出する第１の検出部と、複数のサンプル人物及び複数のサンプル物品に関して、前記第１の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも１つを含む物品情報と紐づけて学習する学習部と、物品を、その前記物品情報と紐づけて登録可能な登録部と、対象人物が対象物品を移動させる際の対象映像を取得する第２の取得部と、前記対象映像に映った対象人物の体の対象部分の動きを検出する第２の検出部と、前記学習部を参照して、前記第２の検出部により検出された動きに対応する物品情報を抽出する抽出部と、前記登録部を参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別する判別部と、を備えたことを特徴とする物品判別システムを提供している。
【０００８】
このような構成によれば、対象人物の体の対象部分の動きを検出することで対象人物が移動させた対象物品を判別することができるので、対象物品自体を検出する必要がなく、これにより、コンピュータにかかる負荷が大幅に低減される。また、個別の物品について学習を行う必要がなく、動作の学習を行うだけよいので、この点においても、コンピュータにかかる負荷が大幅に低減される。
【０００９】
また、前記登録部は、物品を、更にその色彩と紐づけて登録可能であり、前記第２の検出部は、前記対象人物の前記対象部分に接し、前記対象人物の動きに連動して動く部分の色彩を更に検出し、前記判別部は、前記登録部を参照して、前記第２の検出部により検出された色彩、及び、前記抽出された物品情報の両方に対応する物品を前記対象物品と判別することが好ましい。
【００１０】
このような構成によれば、対象部分の周囲の色彩を検出することにより、対象部分に接しているであろう対象物品の色彩を検出していることとなるので、登録部に登録された複数の物品の中から候補を絞り込みやすくなり、結果として、対象物品を高精度に判別することが可能となる。
（【００１１】以降は省略されています）

関連特許