特許ウォッチ

公開番号2025004383
公報種別公開特許公報(A)
公開日2025-01-15
出願番号2023104038
出願日2023-06-26
発明の名称情報処理プログラム、情報処理方法、および情報処理装置
出願人富士通株式会社
代理人弁理士法人酒井国際特許事務所
主分類G06T 7/00 20170101AFI20250107BHJP(計算;計数)
要約【課題】店舗内などの各種施設内の監視映像から、万引きなど異常な行動をする人物を、コンピュータによる画像認識により識別し、異常を知らせるアラートを通知する技術がある。しかしながら、監視カメラの死角における人物や物体を検出することはできないため、映像から人物の異常な行動を正確に判定することは容易ではない。
【解決手段】情報処理プログラムは、1つ以上のカメラ装置によって撮影された映像を取得し、取得した映像を分析することで、映像に含まれる物体および人物の相互作用を識別した関係性を特定し、特定した関係性に基づいて、カメラ装置の撮影範囲外で、人物が商品に対して異常な行動をしたか否かを判定し、撮影範囲外で人物が商品に対して異常な行動をしたか否かの判定結果に基づいて、アラートを通知する処理をコンピュータに実行させる。
【選択図】図21
特許請求の範囲【請求項１】
１つ以上のカメラ装置によって撮影された映像を取得し、
取得した前記映像を分析することで、前記映像に含まれる物体および人物の相互作用を識別した関係性を特定し、
特定した前記関係性に基づいて、前記カメラ装置の撮影範囲外で、前記人物が商品に対して異常な行動をしたか否かを判定し、
前記撮影範囲外で前記人物が前記商品に対して異常な行動をしたか否かの判定結果に基づいて、アラートを通知する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。
続きを表示（約 2,600 文字）【請求項２】
店内に配置された複数のカメラ装置が撮影した映像であって、前記複数のカメラ装置に異なるエリアを撮影させた複数の映像を取得し、
取得をした前記複数の映像のうちの第１のエリアを撮影した映像を分析することで、前記第１のエリアを撮影した映像に含まれる物体および前記人物の相互作用を識別した第１の関係性を識別し、
取得をした前記複数の映像のうちの第２のエリアを撮影した映像を分析することで、前記第２のエリアを撮影した映像に含まれる物体および前記人物の相互作用を識別した第２の関係性を識別し、
前記第１の関係性と前記第２の関係性とに基づいて、前記第１のエリアと前記第２のエリアとの間に位置する、前記複数のカメラ装置の撮影範囲外のエリアで、商品に対して前記人物が異常な行動をしたか否かを判定し、
前記人物が異常な行動をしたと判定されたときに、アラートを通知する
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。
【請求項３】
前記第２のエリアを撮影した映像の時刻は、前記第１のエリアを撮影した映像の時刻の後の時刻であることを特徴とする請求項２に記載の情報処理プログラム。
【請求項４】
前記第１の関係性は、前記人物が、前記商品と、前記商品の万引きに利用される所定の物体とのそれぞれを持つことを示し、
前記第２の関係性は、前記人物が、前記商品の万引きに利用される所定の物体を持つことを示し、
前記第１の関係性にて前記人物が持つことをした前記所定の物体は、前記第２の関係性でも持つことがされているときであって、かつ、前記第１の関係性にて前記人物が持つことをした前記商品は、前記第２の関係性では持つことがされなくなっているときに、前記第１のエリアと前記第２のエリアとの間に位置する、前記複数のカメラ装置の撮影範囲外のエリアで、前記商品に対して前記人物が異常な行動をしたと判定する処理を前記コンピュータに実行させることを特徴とする請求項３に記載の情報処理プログラム。
【請求項５】
取得した前記映像に基づいて、特定した前記関係性が第１の関係性から第２の関係性に時系列にて遷移する第１の人物を特定する
処理を前記コンピュータに実行させ、
前記人物が前記商品に対して異常な行動をしたか否かを判定する処理は、
特定した前記関係性に基づいて、前記撮影範囲外で、前記第１の人物が前記商品に対して異常な行動をしたか否かを判定する
処理を含むことを特徴とする請求項１に記載の情報処理プログラム。
【請求項６】
前記関係性を特定する処理は、
取得した前記映像を機械学習モデルに入力することで、前記映像から、前記物体を含む第１の領域と、前記人物を含む第２の領域と、前記第１の領域に含まれる前記物体および前記第２の領域に含まれる前記人物の相互作用を識別した第１の関係性とを特定し、
取得した前記映像を機械学習モデルに入力することで、前記映像から、前記物体を含む第３の領域と、前記人物を含む第４の領域と、前記第３の領域に含まれる前記物体および前記第４の領域に含まれる前記人物の相互作用を識別した第２の関係性とを特定する
処理を含み、
前記人物が前記商品に対して異常な行動をしたか否かを判定する処理は、
前記第２の領域に含まれる前記人物と、前記第４の領域に含まれる前記人物とが同一である場合、特定した前記第１の関係性および前記第２の関係性と、予め設定されたルールとを比較することで、前記人物が前記商品に対して異常な行動をしたか否かを判定する
処理を含むことを特徴とする請求項１に記載の情報処理プログラム。
【請求項７】
撮影した前記複数のカメラ装置に基づいて、前記人物が前記商品に対して異常な行動をした、前記第１のエリアと前記第２のエリアとの間に位置する、前記複数のカメラ装置の撮影範囲外のエリアを特定する
処理を前記コンピュータに実行させ、
前記アラートを通知する処理は、
特定された前記複数のカメラ装置の撮影範囲外のエリアと対応付けて、前記商品に対して異常が発生したことを示す前記アラートを通知する
処理を含むことを特徴とする請求項２に記載の情報処理プログラム。
【請求項８】
前記人物が前記商品に対して異常な行動をしたか否かを判定する処理は、
特定した前記第１の関係性および前記第２の関係性に基づいて、前記カメラ装置の撮影範囲外で、前記人物が前記商品に対して、万引きまたは前記万引きに繋がる行為である前記異常な行動をしたか否かを判定する
処理を含むことを特徴とする請求項６に記載の情報処理プログラム。
【請求項９】
前記第１の人物を特定する処理は、
取得した前記映像を機械学習モデルに入力することで、前記映像に含まれる前記人物ごとに前記関係性を特定したシーングラフを生成し、
前記シーングラフを分析することで、前記第１の人物を特定する
処理を含むことを特徴とする請求項５に記載の情報処理プログラム。
【請求項１０】
前記関係性を特定する処理は、
前記映像から前記物体または前記人物に対応する第１の特徴量を抽出し、
抽出した前記第１の特徴量から前記映像の中に含まれる前記物体および前記人物を検出し、
検出した複数の前記物体、複数の前記人物、および前記物体と前記人物の少なくとも１つの組における前記物体または前記人物の有する前記第１の特徴量が組み合わされた第２の特徴量を生成し、
前記第１の特徴量と前記第２の特徴量とに基づいて、複数の前記物体、複数の前記人物、および前記物体と前記人物の少なくとも１つの相互作用を識別した前記関係性を示す第１のマップを生成し、
前記第１の特徴量を変換した第３の特徴量と、前記第１のマップとに基づいて、第４の特徴量を抽出し、
前記第４の特徴量から、前記関係性を特定する
処理を含むことを特徴とする請求項１に記載の情報処理プログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、映像の中から異常な行動をする人物やその行動を識別する情報処理プログラム、情報処理方法、および情報処理装置に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
例えば、店舗内などの各種施設内の監視映像から、万引きなど異常な行動をする人物を、コンピュータによる画像認識により識別し、異常を知らせるアラートを通知する技術がある。これにより、事件の発生を未然に防ぐことができる。
【０００３】
このような技術は、例えば、機械学習モデルを用いて、映像から物体や人物を含む領域を矩形で囲むバウンディングボックス（Bbox）を抽出し、両Bboxの位置関係により、人物が異常な行動をしているか否かを判定するものである。
【先行技術文献】
【特許文献】
【０００４】
特開２０２２－１６５４８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、監視カメラの死角における人物や物体を検出することはできないため、映像から人物の異常な行動を正確に判定することは容易ではない。なお、監視カメラの死角とは、例えば、複数のカメラによって異なるエリアを撮影した場合の複数のカメラの撮影範囲間に生じる死角であってもよいし、首振りカメラなど単体のカメラの撮影範囲外に生じる死角であってもよい。
【０００６】
１つの側面では、映像から人物が異常な行動をしていることをより正確に判定して通知できる情報処理プログラム、情報処理方法、および情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
１つの態様において、情報処理プログラムは、１つ以上のカメラ装置によって撮影された映像を取得し、取得した映像を分析することで、映像に含まれる物体および人物の相互作用を識別した関係性を特定し、特定した関係性に基づいて、カメラ装置の撮影範囲外で、人物が商品に対して異常な行動をしたか否かを判定し、撮影範囲外で人物が商品に対して異常な行動をしたか否かの判定結果に基づいて、アラートを通知する処理をコンピュータに実行させる。
【発明の効果】
【０００８】
１つの側面では、映像から人物が異常な行動をしていることをより正確に判定して通知できる。
【図面の簡単な説明】
【０００９】
図１は、監視カメラによる撮影の一例を示す図である。
図２は、監視カメラによる撮影の別例を示す図である。
図３は、本実施形態にかかる情報処理システム１の構成例を示す図である。
図４は、本実施形態にかかる情報処理装置１０の構成例を示す図である。
図５は、本実施形態にかかるカメラ設置ＤＢ１４に記憶される情報の一例を示す図である。
図６は、本実施形態にかかるルールＤＢ１６に記憶される情報の一例を示す図である。
図７は、本実施形態にかかるシーングラフによる関係性特定の一例を示す図である。
図８は、シーングラフ生成の問題点を説明するための図である。
図９は、本実施形態にかかるAttentionマップ生成の一例を示す図である。
図１０は、本実施形態にかかる関係性推定のためのNN構成の一例を示す図である。
図１１は、本実施形態にかかる画像特徴抽出の一例を示す図である。
図１２は、本実施形態にかかる物体検出の一例を示す図である。
図１３は、本実施形態にかかるペア特徴量生成の一例を示す図である。
図１４は、本実施形態にかかる関係性特徴抽出の一例を示す図である。
図１５は、本実施形態にかかる関係性推定の一例を示す図である。
図１６は、本実施形態にかかる骨格情報の一例を示す図である。
図１７は、本実施形態にかかる全身の姿勢判定の一例を示す図である。
図１８は、本実施形態にかかるパーツ別動作の検知の一例を示す図である。
図１９は、本実施形態にかかる射影変換係数の算出の一例を示す図である。
図２０は、本実施形態にかかる画像座標系からフロアマップ座標系への変換の一例を示す図である。
図２１は、本実施形態にかかる異常行動通知処理の流れを示すフローチャートである。
図２２は、本実施形態にかかる関係性推定処理の流れを示すフローチャートである。
図２３は、情報処理装置１０のハードウェア構成例を説明する図である。
【発明を実施するための形態】
【００１０】
以下に、本実施形態に係る情報処理プログラム、情報処理方法、および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例により本実施形態が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
（【００１１】以降は省略されています）

関連特許