特許ウォッチ

公開番号2025004662
公報種別公開特許公報(A)
公開日2025-01-15
出願番号2023104500
出願日2023-06-26
発明の名称情報処理プログラム、情報処理方法、および情報処理装置
出願人富士通株式会社
代理人弁理士法人酒井国際特許事務所
主分類G06T 7/00 20170101AFI20250107BHJP(計算;計数)
要約【課題】工場内などの各種施設内の監視映像から、不法投棄や不審物の配置など異常な行動をする人物を、コンピュータによる画像認識により識別し、異常を知らせるアラートを通知する技術がある。しかしながら、監視カメラの死角における人物や物体を検出することはできないため、映像から人物の異常な行動を正確に判定することは容易ではない。
【解決手段】情報処理プログラムは、1つ以上のカメラ装置によって撮影された映像を取得し、取得した映像を分析することで、映像に含まれる物体および人物の相互作用を識別した関係性を特定し、特定した関係性に基づいて、カメラ装置の撮影範囲外に第1の物体が配置されているか否かを判定し、撮影範囲外に第1の物体が配置されているか否かの判定結果に基づいて、アラートを通知する処理をコンピュータに実行させる。
【選択図】図1
特許請求の範囲【請求項１】
１つ以上のカメラ装置によって撮影された映像を取得し、
取得した前記映像を分析することで、前記映像に含まれる物体および人物の相互作用を識別した関係性を特定し、
特定した前記関係性に基づいて、前記カメラ装置の撮影範囲外に第１の物体が配置されているか否かを判定し、
前記撮影範囲外に前記第１の物体が配置されているか否かの判定結果に基づいて、アラートを通知する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。
続きを表示（約 2,600 文字）【請求項２】
取得した前記映像に基づいて、前記第１の物体に対して、特定した前記関係性が第１の関係性から第２の関係性に時系列にて遷移する第１の人物を特定する
処理を前記コンピュータに実行させ、
前記アラートを通知する処理は、
前記撮影範囲外に前記第１の物体が配置されていると判定された場合、カメラ装置の撮影範囲外のエリアに、投棄物、不審物、忘れ物、落とし物のいずれかに関する物体が配置されていることを示す前記アラートを通知する
処理を含むことを特徴とする請求項１に記載の情報処理プログラム。
【請求項３】
取得した前記映像を分析することで、前記人物と相互作用のある前記物体が前記第１の物体であるか否かを判定し、
前記人物と相互作用のある前記物体が前記第１の物体であると判定された場合、特定した前記関係性の第１の関係性に基づいて、前記人物が前記第１の物体を運んでいるか否かを判定し、
前記第１の関係性に基づいて前記人物が前記第１の物体を運んでいると判定された場合、特定した前記関係性の第２の関係性に基づいて、前記人物が前記第１の物体を運んでいるか否かを判定する
処理を前記コンピュータに実行させ、
前記撮影範囲外に前記第１の物体が配置されている否かを判定する処理は、
前記第２の関係性に基づいて前記人物が前記第１の物体を運んでいないと判定された場合、前記撮影範囲外に前記第１の物体が配置されていると判定する
処理を含むことを特徴とする請求項１または２に記載の情報処理プログラム。
【請求項４】
施設内に配置された複数のカメラ装置が撮影した映像であって、前記複数のカメラ装置に異なるエリアを撮影させた複数の映像を取得し、
取得をした前記複数の映像のうちの第１のエリアを撮影した映像を分析することで、前記関係性の第１の関係性を識別し、
取得をした前記複数の映像のうちの第２のエリアを撮影した映像を分析することで、前記関係性の第２の関係性を識別し、
前記第１の関係性に基づいて前記人物が前記第１のエリアで前記第１の物体を運んでいると判定された場合、前記第２の関係性に基づいて、前記人物が前記第２のエリアで前記第１の物体を運んでいるか否かを判定する
処理を前記コンピュータに実行させ、
前記アラートを通知する処理は、
前記第２のエリアで前記第１の物体を運んでいないと判定されたときに、前記第１のエリアと前記第２のエリアとの間に位置する、前記複数のカメラ装置の撮影範囲外の第３のエリアと対応付けて、前記第１の物体が配置されていることを示す前記アラートを端末に通知する
処理を含むことを特徴とする請求項１または２に記載の情報処理プログラム。
【請求項５】
前記第１の人物を特定する処理は、
取得した前記映像を機械学習モデルに入力することで、前記映像に含まれる前記人物ごとに前記関係性を特定したシーングラフを生成し、
前記シーングラフを分析することで、前記第１の人物を特定する
処理を含むことを特徴とする請求項２に記載の情報処理プログラム。
【請求項６】
前記関係性を特定する処理は、
前記映像から前記物体または前記人物に対応する第１の特徴量を抽出し、
抽出した前記第１の特徴量から前記映像の中に含まれる前記物体および前記人物を検出し、
検出した複数の前記物体、複数の前記人物、および前記物体と前記人物の少なくとも１つの組における前記物体または前記人物の有する前記第１の特徴量が組み合わされた第２の特徴量を生成し、
前記第１の特徴量と前記第２の特徴量とに基づいて、複数の前記物体、複数の前記人物、および前記物体と前記人物の少なくとも１つの相互作用を識別した前記関係性を示す第１のマップを生成し、
前記第１の特徴量を変換した第３の特徴量と、前記第１のマップとに基づいて、第４の特徴量を抽出し、
前記第４の特徴量から、前記関係性を特定する
処理を含むことを特徴とする請求項１または２に記載の情報処理プログラム。
【請求項７】
前記関係性を特定する処理は、
取得した前記映像を分析することで、前記人物の骨格情報を生成し、
生成した前記骨格情報に基づいて、前記関係性を特定する
処理を含むことを特徴とする請求項１または２に記載の情報処理プログラム。
【請求項８】
複数の前記カメラ装置のそれぞれが撮影した前記映像のそれぞれに含まれる前記人物の位置を、複数の前記カメラ装置ごとに異なる第１の指標で特定し、
前記第１の指標で特定された前記人物の位置を、複数の前記カメラ装置で共通の第２の指標で特定し、
特定した前記第２の指標を用いた前記人物の位置に基づいて、前記映像のそれぞれに含まれる前記人物が同一の人物であるか否かを判定する
処理を前記コンピュータに実行させることを特徴とする請求項１または２に記載の情報処理プログラム。
【請求項９】
施設の所定位置に配置されたゲートにセンサまたはカメラが搭載されると共に、前記センサまたは前記カメラによる前記ゲートを通過する人物の生体情報の検出に基づいて、前記人物の生体情報を取得し、
取得した前記人物の生体情報による認証が成功したときに、前記ゲートを通過する人物を含む画像を分析することで、前記施設にチェックインした人物として、前記画像含まれる人物を識別し、
前記生体情報から特定される前記人物の識別情報を対応付けた状態で、前記人物を追跡する
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。
【請求項１０】
前記アラートを通知する処理は、
前記撮影範囲外に、追跡した前記人物が前記第１の物体を配置したと判定した場合、追跡した前記人物の識別情報とともに、前記施設内に異常な物体が配置されていることを示すアラートを通知する
処理を含むことを特徴とする請求項９に記載の情報処理プログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、映像の中から異常な行動をする人物やその行動を識別する情報処理プログラム、情報処理方法、および情報処理装置に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
例えば、工場内などの各種施設内の監視映像から、不法投棄や不審物の配置など異常な行動をする人物を、コンピュータによる画像認識により識別し、異常を知らせるアラートを通知する技術がある。これにより、事故や事件の発生を未然に防ぐことができる。
【０００３】
このような技術は、例えば、機械学習モデルを用いて、映像から物体や人物を含む領域を矩形で囲むバウンディングボックス（Bbox）を抽出し、両Bboxの位置関係により、人物が異常な行動をしているか否かを判定するものである。
【先行技術文献】
【特許文献】
【０００４】
特開２０２２－１６５４８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、監視カメラの死角における人物や物体を検出することはできないため、映像から人物の異常な行動を正確に判定することは容易ではない。なお、監視カメラの死角とは、例えば、複数のカメラによって異なるエリアを撮影した場合の複数のカメラの撮影範囲間に生じる死角であってもよいし、首振りカメラなど単体のカメラの撮影範囲外に生じる死角であってもよい。
【０００６】
１つの側面では、映像から人物が異常な行動をしていることをより正確に判定して通知できる情報処理プログラム、情報処理方法、および情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
１つの態様において、情報処理プログラムは、１つ以上のカメラ装置によって撮影された映像を取得し、取得した映像を分析することで、映像に含まれる物体および人物の相互作用を識別した関係性を特定し、特定した関係性に基づいて、カメラ装置の撮影範囲外に第１の物体が配置されているか否かを判定し、撮影範囲外に第１の物体が配置されているか否かの判定結果に基づいて、アラートを通知する処理をコンピュータに実行させる。
【発明の効果】
【０００８】
１つの側面では、映像から人物が異常な行動をしていることをより正確に判定して通知できる。
【図面の簡単な説明】
【０００９】
図１は、監視カメラによる撮影の一例を示す図である。
図２は、監視カメラによる撮影の別例を示す図である。
図３は、本実施形態にかかる情報処理システム１の構成例を示す図である。
図４は、本実施形態にかかる情報処理装置１０の構成例を示す図である。
図５は、本実施形態にかかるカメラ設置ＤＢ１４に記憶される情報の一例を示す図である。
図６は、本実施形態にかかるルールＤＢ１６に記憶される情報の一例を示す図である。
図７は、本実施形態にかかるシーングラフによる関係性特定の一例を示す図である。
図８は、シーングラフ生成の問題点を説明するための図である。
図９は、本実施形態にかかるAttentionマップ生成の一例を示す図である。
図１０は、本実施形態にかかる関係性推定のためのNN構成の一例を示す図である。
図１１は、本実施形態にかかる画像特徴抽出の一例を示す図である。
図１２は、本実施形態にかかる物体検出の一例を示す図である。
図１３は、本実施形態にかかるペア特徴量生成の一例を示す図である。
図１４は、本実施形態にかかる関係性特徴抽出の一例を示す図である。
図１５は、本実施形態にかかる関係性推定の一例を示す図である。
図１６は、本実施形態にかかる骨格情報の一例を示す図である。
図１７は、本実施形態にかかる全身の姿勢判定の一例を示す図である。
図１８は、本実施形態にかかるパーツ別動作の検知の一例を示す図である。
図１９は、本実施形態にかかる射影変換係数の算出の一例を示す図である。
図２０は、本実施形態にかかる画像座標系からフロアマップ座標系への変換の一例を示す図である。
図２１は、本実施形態にかかる異常行動通知処理の流れを示すフローチャートである。
図２２は、本実施形態にかかる関係性推定処理の流れを示すフローチャートである。
図２３は、情報処理装置１０のハードウェア構成例を説明する図である。
【発明を実施するための形態】
【００１０】
以下に、本実施形態に係る情報処理プログラム、情報処理方法、および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例により本実施形態が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
（【００１１】以降は省略されています）

関連特許