特許ウォッチ

公開番号2025004679
公報種別公開特許公報(A)
公開日2025-01-15
出願番号2023104524
出願日2023-06-26
発明の名称情報処理プログラム、情報処理方法、および情報処理装置
出願人富士通株式会社
代理人弁理士法人酒井国際特許事務所
主分類G06T 7/00 20170101AFI20250107BHJP(計算;計数)
要約【課題】店舗内などの各種施設内の監視映像から、迷子や誘拐などの異常が発生した人物、すなわち、子供を、コンピュータによる画像認識により識別し、異常を知らせるアラートを通知する技術がある。しかしながら、監視カメラの死角における人物を検出することはできないため、映像から人物間で異常が発生したか否かを正確に判定することは容易ではない。
【解決手段】情報処理プログラムは、1つ以上のカメラ装置によって撮影された映像を取得し、取得した映像を分析することで、映像に含まれる複数の人物の間の相互作用を識別した関係性を特定し、特定した関係性に基づいて、カメラ装置の撮影範囲外で、複数の人物の間で異常が発生したか否かを判定する処理をコンピュータに実行させる。
【選択図】図21
特許請求の範囲【請求項１】
１つ以上のカメラ装置によって撮影された映像を取得し、
取得した前記映像を分析することで、前記映像に含まれる複数の人物の間の相互作用を識別した関係性を特定し、
特定した前記関係性に基づいて、前記カメラ装置の撮影範囲外で、前記複数の人物の間で異常が発生したか否かを判定する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。
続きを表示（約 2,600 文字）【請求項２】
取得した前記映像に基づいて、前記複数の人物の中から、特定した前記関係性が第１の関係性から第２の関係性に時系列にて遷移する第１の人物を特定する
処理を前記コンピュータに実行させ、
前記異常が発生したか否かを判定する処理は、
特定した前記関係性に基づいて、前記カメラ装置の撮影範囲外で、前記複数の人物の間の前記第１の人物に対して異常が発生したか否かを判定する
処理を含むことを特徴とする請求項１に記載の情報処理プログラム。
【請求項３】
前記関係性を特定する処理は、
取得した前記映像を機械学習モデルに入力することで、前記映像から、子供を含む第１の領域と、大人を含む第２の領域と、前記第１の領域に含まれる子供および前記第２の領域に含まれる大人の相互作用を識別した第１の関係性とを特定し、
取得した前記映像を機械学習モデルに入力することで、前記映像から、子供を含む第３の領域と、大人を含む第４の領域と、前記第３の領域に含まれる子供および前記第４の領域に含まれる大人の相互作用を識別した第２の関係性とを特定する
処理を含み、
前記異常が発生したか否かを判定する処理は、
前記第１の領域に含まれる子供と、前記第３の領域に含まれる子供とが同一である場合、特定した前記第１の関係性および前記第２の関係性と、予め設定されたルールとを比較することで、前記カメラ装置の撮影範囲外で、前記複数の人物の間の同一の前記子供に対して異常が発生したか否かを判定する
処理を含むことを特徴とする請求項１または２に記載の情報処理プログラム。
【請求項４】
前記関係性を特定する処理は、
取得した前記映像を機械学習モデルに入力することで、前記映像から、子供を含む第１の領域と、大人を含む第２の領域と、前記第１の領域に含まれる子供および前記第２の領域に含まれる大人の相互作用を識別した第１の関係性とを特定し、
取得した前記映像を機械学習モデルに入力することで、前記映像から、子供を含む第３の領域と、前記第３の領域に含まれる子供および前記第２の領域に含まれる大人の相互作用を識別した第２の関係性とを特定する
処理を含み、
前記異常が発生したか否かを判定する処理は、
前記第１の領域に含まれる子供と、前記第３の領域に含まれる子供とが同一である場合、特定した前記第１の関係性および前記第２の関係性と、予め設定されたルールとを比較することで、前記カメラ装置の撮影範囲外で、前記複数の人物の間の同一の前記子供に対して異常が発生したか否かを判定する
処理を含むことを特徴とする請求項１または２に記載の情報処理プログラム。
【請求項５】
撮影した前記カメラ装置に基づいて、前記複数の人物の間で異常が発生した第１のエリアを特定し、
前記第１のエリアと対応付けて、前記複数の人物の間で異常が発生したことを示すアラートを通知する
処理を前記コンピュータに実行させることを特徴とする請求項１または２に記載の情報処理プログラム。
【請求項６】
取得した前記映像に基づいて、前記複数の人物の中から、特定した前記関係性が第１の関係性から第２の関係性に時系列にて遷移する第１の人物を特定する
処理を前記コンピュータに実行させ、
前記異常が発生したか否かを判定する処理は、
前記第１の関係性から前記第２の関係性への時系列の遷移に基づいて、前記カメラ装置の撮影範囲外で、前記複数の人物の間の前記第１の人物に対して迷子が発生したか否かを判定する
処理を含むことを特徴とする請求項１に記載の情報処理プログラム。
【請求項７】
前記第１の人物を特定する処理は、
取得した前記映像を機械学習モデルに入力することで、前記映像に含まれる前記人物ごとに前記関係性を特定したシーングラフを生成し、
前記シーングラフを分析することで、前記第１の人物を特定する
処理を含むことを特徴とする請求項２または６に記載の情報処理プログラム。
【請求項８】
前記関係性を特定する処理は、
前記映像から前記映像に含まれる物体または前記複数の人物の各人物に対応する第１の特徴量を抽出し、
抽出した前記第１の特徴量から前記映像の中に含まれる前記物体および前記各人物を検出し、
検出した複数の前記物体、前記複数の人物、および前記物体と前記各人物の少なくとも１つの組における前記物体または前記各人物の有する前記第１の特徴量が組み合わされた第２の特徴量を生成し、
前記第１の特徴量と前記第２の特徴量とに基づいて、複数の前記物体、前記複数の人物、および前記物体と前記各人物の少なくとも１つの相互作用を識別した第１の関係性を示す第１のマップを生成し、
前記第１の特徴量を変換した第３の特徴量と、前記第１のマップとに基づいて、第４の特徴量を抽出し、
前記第４の特徴量から、前記関係性を特定する
処理を含むことを特徴とする請求項１または２に記載の情報処理プログラム。
【請求項９】
前記関係性を特定する処理は、
取得した前記映像を分析することで、前記複数の人物の骨格情報を生成し、
生成した前記骨格情報に基づいて、前記関係性を特定する
処理を含むことを特徴とする請求項１または２に記載の情報処理プログラム。
【請求項１０】
複数の前記カメラ装置のそれぞれが撮影した前記映像のそれぞれに含まれる前記複数の人物の位置を、複数の前記カメラ装置ごとに異なる第１の指標で特定し、
前記第１の指標で特定された前記複数の人物の位置を、複数の前記カメラ装置で共通の第２の指標で特定し、
特定した前記第２の指標を用いた前記複数の人物の位置に基づいて、前記複数の人物ごとに、前記映像のそれぞれに含まれる前記複数の人物が同一の人物であるか否かを判定する
処理を前記コンピュータに実行させることを特徴とする請求項１または２に記載の情報処理プログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、映像の中から異常な行動をする人物やその行動を識別する情報処理プログラム、情報処理方法、および情報処理装置に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
例えば、店舗内などの各種施設内の監視映像から、迷子や誘拐などの異常が発生した人物、すなわち、子供を、コンピュータによる画像認識により識別し、異常を知らせるアラートを通知する技術がある。これにより、事故や事件の発生を未然に防ぐことができる。
【０００３】
このような技術は、例えば、機械学習モデルを用いて、映像から人物を含む領域を矩形で囲むバウンディングボックス（Bbox）を抽出し、親子など人物間の両Bboxの位置関係により、人物間で異常が発生したか否かを判定するものである。
【先行技術文献】
【特許文献】
【０００４】
特開２０２２－１６５４８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、監視カメラの死角における人物を検出することはできないため、映像から人物間で異常が発生したか否かを正確に判定することは容易ではない。なお、監視カメラの死角とは、例えば、複数のカメラによって異なるエリアを撮影した場合の複数のカメラの撮影範囲間に生じる死角であってもよいし、首振りカメラなど単体のカメラの撮影範囲外に生じる死角であってもよい。
【０００６】
１つの側面では、映像から複数の人物の間で異常が発生したことをより正確に判定できる情報処理プログラム、情報処理方法、および情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
１つの態様において、情報処理プログラムは、１つ以上のカメラ装置によって撮影された映像を取得し、取得した映像を分析することで、映像に含まれる複数の人物の間の相互作用を識別した関係性を特定し、特定した関係性に基づいて、カメラ装置の撮影範囲外で、複数の人物の間で異常が発生したか否かを判定する処理をコンピュータに実行させる。
【発明の効果】
【０００８】
１つの側面では、映像から複数の人物の間で異常が発生したことをより正確に判定できる。
【図面の簡単な説明】
【０００９】
図１は、監視カメラによる撮影の一例を示す図である。
図２は、監視カメラによる撮影の別例を示す図である。
図３は、本実施形態にかかる情報処理システム１の構成例を示す図である。
図４は、本実施形態にかかる情報処理装置１０の構成例を示す図である。
図５は、本実施形態にかかるカメラ設置ＤＢ１４に記憶される情報の一例を示す図である。
図６は、本実施形態にかかるルールＤＢ１６に記憶される情報の一例を示す図である。
図７は、本実施形態にかかるシーングラフによる関係性特定の一例を示す図である。
図８は、シーングラフ生成の問題点を説明するための図である。
図９は、本実施形態にかかるAttentionマップ生成の一例を示す図である。
図１０は、本実施形態にかかる関係性推定のためのNN構成の一例を示す図である。
図１１は、本実施形態にかかる画像特徴抽出の一例を示す図である。
図１２は、本実施形態にかかる物体検出の一例を示す図である。
図１３は、本実施形態にかかるペア特徴量生成の一例を示す図である。
図１４は、本実施形態にかかる関係性特徴抽出の一例を示す図である。
図１５は、本実施形態にかかる関係性推定の一例を示す図である。
図１６は、本実施形態にかかる骨格情報の一例を示す図である。
図１７は、本実施形態にかかる全身の姿勢判定の一例を示す図である。
図１８は、本実施形態にかかるパーツ別動作の検知の一例を示す図である。
図１９は、本実施形態にかかる射影変換係数の算出の一例を示す図である。
図２０は、本実施形態にかかる画像座標系からフロアマップ座標系への変換の一例を示す図である。
図２１は、本実施形態にかかる異常発生判定処理の流れを示すフローチャートである。
図２２は、本実施形態にかかる関係性推定処理の流れを示すフローチャートである。
図２３は、情報処理装置１０のハードウェア構成例を説明する図である。
【発明を実施するための形態】
【００１０】
以下に、本実施形態に係る情報処理プログラム、情報処理方法、および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例により本実施形態が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
（【００１１】以降は省略されています）

関連特許