特許ウォッチ

公開番号2025018999
公報種別公開特許公報(A)
公開日2025-02-06
出願番号2024118355
出願日2024-07-24
発明の名称異常な挙動の検出
出願人富士通株式会社
代理人弁理士法人ITOH
主分類G06N 20/00 20190101AFI20250130BHJP(計算;計数)
要約【課題】異常な挙動の検出のための方法を開示する。
【解決手段】動作は、第1のドメインデータセットに含まれる第1の訓練ビデオの第1のビデオクリップから人の描写及びその人の関連する動きを抽出することを含む。動作は、第2のドメインデータセットに含まれる第2の訓練ビデオの第2のビデオクリップに人の描写及び対応する動きを重ね合わせて、第3のビデオクリップを生成することをさらに含む。動作は、第1のビデオクリップも人の動きが特定のタイプの挙動に対応することを示すようにアノテーションが付けられていることに基づいて、人の動きが特定のタイプの挙動に対応することを示すように第3のビデオクリップにアノテーションを付けることも含む。さらに、動作は、アノテーションが付けられた第3のビデオクリップを有する第2の訓練ビデオを使用して、特定のタイプの挙動を識別するように機械学習モデルを訓練することを含む。
【選択図】図1B
特許請求の範囲【請求項１】
方法であって、
第１のドメインデータセットに含まれる第１の訓練ビデオの第１のビデオクリップ内に描写された人の描写及び前記人の関連する動きを前記第１のビデオクリップから抽出することであって、前記人の描写を抽出することは、前記人の画像マスクを前記第１のビデオクリップから抽出し、前記第１のビデオクリップ内に描写された前記人の動きが特定のタイプの挙動に対応することを示すように前記第１のビデオクリップにアノテーションが付けられていることに応答するものであることを含む、ことと、
前記人の画像マスクに基づいて、第２のドメインデータセットに含まれる第２の訓練ビデオの第２のビデオクリップに前記人の描写及び対応する動きを重ね合わせて、第３のビデオクリップを生成することと、
前記人の描写及び関連する動きが抽出された前記第１のビデオクリップも前記第３のビデオクリップ内に描写された前記人の動きが前記特定のタイプの挙動に対応することを示すようにアノテーションが付けられていることに基づいて、前記第３のビデオクリップ内に描写された前記人の動きが前記特定のタイプの挙動に対応することを示すように前記第３のビデオクリップにアノテーションを付けることと、
前記アノテーションが付けられた第３のビデオクリップを有する前記第２の訓練ビデオを使用して、前記特定のタイプの挙動を識別するように機械学習モデルを訓練することと、を含む、方法。
続きを表示（約 2,200 文字）【請求項２】
前記アノテーションは、前記特定のタイプの挙動が異常な挙動であることを示す、請求項１に記載の方法。
【請求項３】
前記第３のビデオクリップ内に描写された前記人の動きは、前記第１のビデオクリップ内に描写された前記人の動きと比較して修正される、請求項１に記載の方法。
【請求項４】
前記動きは、前記動きの方向、前記動きの速度、又は前記動きの高度のうちの１つ以上に関して修正される、請求項３に記載の方法。
【請求項５】
前記第１のビデオクリップ内に描写された前記人の動きを修正して、修正された動き描写を生成することと、
前記人の描写と前記修正された動き描写とを少なくとも前記第２のビデオクリップに重ね合わせることによって第４のビデオクリップを生成することと、
前記第４のビデオクリップに含まれる前記修正された動き描写が前記特定のタイプの挙動に対応することを示すように第４のビデオクリップにアノテーションを付けることと、
前記アノテーションが付けられた第４のビデオクリップを有する前記第２の訓練ビデオを使用して、前記特定のタイプの挙動を識別するように前記機械学習モデルを訓練することと、を更に含む、請求項１に記載の方法。
【請求項６】
前記人の描写及び対応する動きは、前記特定の領域が配置領域として識別されることに応答して、前記第２のビデオクリップ内の特定の領域の描写に重ね合わされる、請求項１に記載の方法。
【請求項７】
前記特定の領域は、前記第２のビデオクリップに対応するセマンティックセグメンテーションに基づいて、前記配置領域として識別される、請求項６に記載の方法。
【請求項８】
システムであって、
１つ以上のプロセッサと、
命令を記憶するように構成されている１つ以上の非一時的なコンピュータ可読記憶媒体と、を含み、前記命令は、前記１つ以上のプロセッサによって実行されることに応答して、システムに動作を実行させ、前記動作は、
第１のドメインデータセットに含まれる第１の訓練ビデオの第１のビデオクリップ内に描写された人の描写及び前記人の関連する動きを前記第１のビデオクリップから抽出することであって、前記人の描写を抽出することは、前記人の画像マスクを前記第１のビデオクリップから抽出し、前記第１のビデオクリップ内に描写された前記人の動きが特定のタイプの挙動に対応することを示すように前記第１のビデオクリップにアノテーションが付けられていることに応答するものであることを含む、ことと、
前記人の画像マスクに基づいて、第２のドメインデータセットに含まれる第２の訓練ビデオの第２のビデオクリップに前記人の描写及び対応する動きを重ね合わせて、第３のビデオクリップを生成することと、
前記人の描写及び関連する動きが抽出された前記第１のビデオクリップも前記第３のビデオクリップ内に描写された前記人の動きが前記特定のタイプの挙動に対応することを示すようにアノテーションが付けられていることに基づいて、前記第３のビデオクリップ内に描写された前記人の動きが前記特定のタイプの挙動に対応することを示すように前記第３のビデオクリップにアノテーションを付けることと、
前記アノテーションが付けられた第３のビデオクリップを有する前記第２の訓練ビデオを使用して、前記特定のタイプの挙動を識別するように機械学習モデルを訓練することと、を含む、システム。
【請求項９】
命令を記憶するように構成されている１つ以上の非一時的なコンピュータ可読記憶媒体であって、前記命令は、実行されることに応答して、システムに動作を実行させ、前記動作は、
第１のドメインデータセットに含まれる第１の訓練ビデオの第１のビデオクリップ内に描写された人の描写及び前記人の関連する動きを前記第１のビデオクリップから抽出することであって、前記人の描写を抽出することは、前記人の画像マスクを前記第１のビデオクリップから抽出し、前記第１のビデオクリップ内に描写された前記人の動きが特定のタイプの挙動に対応することを示すように前記第１のビデオクリップにアノテーションが付けられていることに応答するものであることと、を含む、ことと、
前記人の画像マスクに基づいて、第２のドメインデータセットに含まれる第２の訓練ビデオの第２のビデオクリップに前記人の描写及び対応する動きを重ね合わせて、第３のビデオクリップを生成することと、
前記人の描写及び関連する動きが抽出された前記第１のビデオクリップも前記第３のビデオクリップ内に描写された前記人の動きが前記特定のタイプの挙動に対応することを示すようにアノテーションが付けられていることに基づいて、前記第３のビデオクリップ内に描写された前記人の動きが前記特定のタイプの挙動に対応することを示すように前記第３のビデオクリップにアノテーションを付けることと、
前記アノテーションが付けられた第３のビデオクリップを有する前記第２の訓練ビデオを使用して、前記特定のタイプの挙動を識別するように機械学習モデルを訓練することと、を含む、１つ以上の非一時的なコンピュータ可読記憶媒体。

発明の詳細な説明【技術分野】
【０００１】
本開示において議論される実施形態は、異常な挙動の検出に関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
機械学習モデルは、多様なセッティングやアプリケーションでより広く行き渡っている。一般に、機械学習モデルは、機械学習モデルに関連付けられた環境の実世界の例を含み得る訓練データセットに基づいて決定を行うように学習するか、又は訓練されてもよい。例えば、機械学習モデルは、ビデオ（例えば、記録されたビデオ、ライブビデオフィードなど）を介して捕捉され得る個人又は物体の異常な挙動を検出又は識別するように訓練されてもよい。
【０００３】
本開示における特許請求の範囲の主題は、何らかの欠点を解決するか、又は上記のような環境においてのみ動作する実施形態に限定されない。むしろ、この背景技術は、本開示で記載されるいくつかの実施形態が実施され得る１つの例示的な技術を示すためにのみ提供されている。
【発明の概要】
【０００４】
動作は、第１のドメインデータセットに含まれる第１の訓練ビデオの第１のビデオクリップ内に描写された人の描写及びその人の関連する動きを第１のビデオクリップから抽出することを含んでもよい。人の描写を抽出することは、人の画像マスクを第１のビデオクリップから抽出することを含み得、第１のビデオクリップ内に描写された人の動きが特定のタイプの挙動に対応することを示すように第１のビデオクリップにアノテーションが付けられていることに応答するものであってもよい。動作は、第２のドメインデータセットに含まれる第２の訓練ビデオの第２のビデオクリップに人の描写及び対応する動きを重ね合わせて、第３のビデオクリップを生成することをさらに含んでもよい。この重ね合わせは、人の画像マスクに基づいてもよい。追加的に、動作は、第３のビデオクリップ内に描写された人の動きが特定のタイプの挙動に対応することを示すように第３のビデオクリップにアノテーションを付けることを含む。アノテーションを付けることは、人の描写及び関連する動きが抽出された第１のビデオクリップも第３のビデオクリップ内に描写された人の動きが特定のタイプの挙動に対応することを示すようにアノテーションが付けられていることに基づいてもよい。さらに、動作は、アノテーションが付けられた第３のビデオクリップを有する第２の訓練ビデオを使用して、特定のタイプの挙動を識別するように機械学習モデルを訓練することを含む。
【０００５】
本実施形態の目的及び利点は、少なくとも特許請求の範囲において特に指摘された要素、特徴、及び組み合わせによって実現され、達成される。
【０００６】
前述の一般的記載及び後述の発明を実施するための形態は両方とも、例として示されており、説明的であり、特許請求の範囲に記載された発明を限定するものではない。
【図面の簡単な説明】
【０００７】
例示的な実施形態は、添付の図面を使用することを通して、追加の具体性及び詳細と共に記載及び説明される。
【０００８】
合成ビデオクリップの生成に関する例示的な環境を表す図である。
【０００９】
図１Ａの合成ビデオクリップの合成フレームを生成する例を示す。
【００１０】
合成ビデオクリップを生成するために使用され得る例示的なコンピューティングシステムのブロック図を示す。
（【００１１】以降は省略されています）

関連特許