特許ウォッチ

公開番号2024172175
公報種別公開特許公報(A)
公開日2024-12-12
出願番号2023089726
出願日2023-05-31
発明の名称画像監視システム及び画像監視方法
出願人株式会社日立製作所
代理人ポレール弁理士法人
主分類H04N 7/18 20060101AFI20241205BHJP(電気通信技術)
要約【課題】
判定に必要な処理を十分に抑えつつ、オブジェクト間の高精度なインタラクション認識を可能とする画像監視システム及び画像監視方法を提供する。
【解決手段】
監視領域を撮影した画像を用いて、監視領域における事象を検出する画像監視システム1は、少なくとも一つの演算装置と、インタラクション認識を行うか否かを判定するために予め設定された閾値を格納する少なくとも一つの記憶装置と、を備え、演算装置は、画像からオブジェクトの位置を検出する位置検出部32、認識対象のオブジェクトグループ内の各オブジェクト間の距離及び/又は角度に関する特徴量を算出する算出部33、特徴量が閾値に達するか否かを判定する判定部34、閾値に達したオブジェクトグループについてインタラクションを認識するインタラクション認識部35と、を有する。
【選択図】図4
特許請求の範囲【請求項１】
監視領域を撮影した画像を用いて、前記監視領域における事象を検出する画像監視システムであって、
少なくとも一つの演算装置と、インタラクション認識を行うか否かを判定するために予め設定された閾値を格納する少なくとも一つの記憶装置と、を備え、
前記演算装置は、
前記画像からオブジェクトの位置を検出する位置検出部と、
認識対象のオブジェクトグループ内の各オブジェクト間の距離及び／又は角度に関する特徴量を算出する算出部と、
前記特徴量が閾値に達するか否かを判定する判定部と、
前記閾値に達したオブジェクトグループについてインタラクションを認識するインタラクション認識部と、を有することを特徴とする画像監視システム。
続きを表示（約 1,700 文字）【請求項２】
請求項１に記載の画像監視システムであって、
前記判定部は、前記特徴量が予め設定された条件を満たすオブジェクトのグループを要監視候補と判定し、
前記インタラクション認識部は、前記要監視候補に対してインタラクション認識を実行し、所定のインタラクションの発生が検知された場合に、前記オブジェクトグループ又は各オブジェクトを要監視オブジェクトとして設定し、
前記要監視オブジェクトに関する情報を格納する記憶部を有することを特徴とする画像監視システム。
【請求項３】
請求項１に記載の画像監視システムであって、
認識対象のインタラクション種別ごとに、前記インタラクションを発生させる任意のオブジェクトを基準として、他のオブジェクトとの距離条件及び／又は角度条件を設定可能な管理制御部を有することを特徴とする画像監視システム。
【請求項４】
請求項１に記載の画像監視システムであって、
前記事象の検出時点のフレーム画像若しくは検出時点を含む映像、又は、前記事象の人物の現在位置を示す画像若しくは映像を表示するための画像表示部を有することを特徴とする画像監視システム。
【請求項５】
請求項１に記載の画像監視システムであって、
前記算出部は、前記インタラクションの認識のために、オブジェクトについて二次元又は三次元のキーポイントを検出し、オブジェクトの姿勢を表現する特徴量と、オブジェクト内及び／又はオブジェクト間の任意のキーポイント間の距離に関する特徴量と、前後の画像フレーム間の差分から算出される単位時間あたりのオブジェクトの移動量を表す特徴量と、オブジェクトの種別を表す特徴量と、矩形領域の位置に関する特徴量と、画像から得られる特徴量と、の中から少なくともいずれか一つを算出し、
前記インタラクション認識部は、算出した特徴量に基づきインタラクションの種別を検出することを特徴とする画像監視システム。
【請求項６】
請求項１に記載の画像監視システムであって、
前記記憶装置は、インタラクション種別と、インタラクションの発生場所と、オブジェクトの属性と、の中から少なくともいずれか一つに関する情報を重要度情報として格納し、
前記演算装置は、インタラクションを発生させた人物に対して、前記重要度情報に基づいて監視重要度を算出することを特徴とする画像監視システム。
【請求項７】
請求項６に記載の画像監視システムであって、
前記演算装置は、前記監視重要度に基づき、インタラクションを発生させた人物を強調して表示する画像表示部を有することを特徴とする画像監視システム。
【請求項８】
請求項１に記載の画像監視システムであって、
前記演算装置は、インタラクション種別と、インタラクションの発生場所と、オブジェクトの属性と、の中から少なくともいずれか一つに関する情報を検索クエリとして、インタラクションの検出実績を検索することで、前記インタラクションを発生させたオブジェクトの情報の検索が可能な検索部を有することを特徴とする画像監視システム。
【請求項９】
請求項１に記載の画像監視システムであって、
前記演算装置は複数の演算装置であり、前記複数の演算装置の一部は画像を撮影する監視カメラに実装されることを特徴とする画像監視システム。
【請求項１０】
監視領域を撮影した画像を用いて、前記監視領域における事象を検出する画像監視方法であって、
位置検出部が、前記画像からオブジェクトの位置を検出し、
算出部が、認識対象のオブジェクトグループ内の各オブジェクト間の距離及び／又は角度に関する特徴量を算出し、
判定部が、インタラクション認識を行うか否かを判定するために予め設定された閾値条件を参照して、前記特徴量が閾値に達するか判定を行い、
インタラクション認識部が、前記閾値に達したオブジェクトグループについてインタラクションを認識することを特徴とする画像監視方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、監視エリアを撮影した画像から人物や物体を検知し、検知結果に基づいて、監視対象を検出する画像監視システム及び画像監視方法に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
駅や空港、コンサート会場やイベント施設等の公共空間では、利用者の安全確保のためにテロ行為や危険行為等を早急に発見して対処する必要がある。また、作業現場や工事現場においては、作業員の労災防止のため危険な作業が行われないよう対処する必要がある。監視員や現場に配備する警備員の数には限りがあることから、監視カメラによる映像監視の需要が増大している。セキュリティ意識や労災の防止意識の高まり、また、監視カメラの低廉化、小型化、省電力化、映像の高解像度化等の背景に伴って、監視カメラ増設の流れは進んでおり、限られた人員で膨大な映像を監視する必要が生じている。
【０００３】
効果的な映像監視と監視員の省力化のためには、映像監視の自動化が求められる。特に、映像から人物の行動を認識する技術は、自動監視のための技術として重要な技術の一つである。例えば公共空間においては、被撮影者の転倒やうずくまる動作等の早期発見によって、施設管理者は施設内において発生した要救護対象者の迅速な保護を行うことができる。また、走る行為や暴行行為の早期発見によって、施設内の保安維持に貢献することが可能になる。一方、作業現場においては、危険作業の認識を通じて、作業者の労災防止や作業手順の認識による作業ミスの把握や効率化に活用することが可能である。
【０００４】
高度な行動認識を実現する上では、人物のみならず、人物の周辺物体や周辺人物にも焦点を当て、対象人物との関係性を認識することが重要となる。例えば、作業現場においては、工具を利用した組み立て作業、脚立の不適切な利用、クレーンで吊下げられた物体下への潜り込みなど、あるいは公共空間においては、荷物の受け渡しや置き去り、持ち去りなど、人物一名のみ又は周辺の人物一名や物体一点のみの情報を活用した場合には、認識が難しいシーンが数多く存在する。
【０００５】
一方、監視カメラの増設に伴い、画像解析を行うための解析サーバも増強する必要がある。そのため、サーバの増強が困難な場合においては解析処理量の低減によって対処することが求められる。特にカメラの設置方法の指定や増設が難しい環境において、人物の多様な見え方に対応するように認識のパターン数を増加させた場合、解析処理量や誤認識の増加に繋がる問題がある。これに対して、例えば、特許文献１に記載の画像処理装置においては、処理負荷を増大させることなく、高精度な行動認識を可能とする画像処理装置を提供するため、人物の姿勢に関する情報のほか、人物の周辺の物体の情報を利用することによって行動を認識する構成が開示されている。
【先行技術文献】
【特許文献】
【０００６】
特開２０１８－２０６３２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示される技術では、行動認識は画面内の多様な人物と物体間ペアに対して試行されるため、検知された人物と物体のペアの数が多い場合には、解析処理はそのペア数に従って増加する。例えば、ある画像において、認識対象となるインタラクションを実行する人物と物体が別のある比較画像と比べて、それぞれ２倍の数だけ検知された場合には、その組み合わせは前記比較画像の４倍となるため、関係性を認識するための推論回数は指数関数的に増加するという問題がある。従って、判定に必要な処理を十分に抑えつつ、高精度なインタラクション認識を可能とすることが課題となる。
【０００８】
そこで、本発明は、判定に必要な処理を十分に抑えつつ、オブジェクト間の高精度なインタラクション認識を可能とする画像監視システム及び画像監視方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明に係る画像監視システムは、監視領域を撮影した画像を用いて、前記監視領域における事象を検出する画像監視システムであって、少なくとも一つの演算装置と、インタラクション認識を行うか否かを判定するために予め設定された閾値を格納する少なくとも一つの記憶装置と、を備え、前記演算装置は、前記画像からオブジェクトの位置を検出する位置検出部と、認識対象のオブジェクトグループ内の各オブジェクト間の距離及び／又は角度に関する特徴量を算出する算出部と、前記特徴量が閾値に達するか否かを判定する判定部と、前記閾値に達したオブジェクトグループについてインタラクションを認識するインタラクション認識部と、を有することを特徴とする。
【００１０】
また、本発明に係る画像監視方法は、監視領域を撮影した画像を用いて、前記監視領域における事象を検出する画像監視方法であって、位置検出部が、前記画像からオブジェクトの位置を検出し、算出部が、認識対象のオブジェクトグループ内の各オブジェクト間の距離及び／又は角度に関する特徴量を算出し、判定部が、インタラクション認識を行うか否かを判定するために予め設定された閾値条件を参照して、前記特徴量が閾値に達するか判定を行い、インタラクション認識部が、前記閾値に達したオブジェクトグループについてインタラクションを認識することを特徴とする。
【発明の効果】
（【００１１】以降は省略されています）

関連特許