TOP特許意匠商標
特許ウォッチ DM通知 Twitter
公開番号2022094321
公報種別公開特許公報(A)
公開日2022-06-24
出願番号2021195101
出願日2021-12-01
発明の名称高解像度ビデオ分析を行う方法、システム、及びコンピュータ・プログラム
出願人インターナショナル・ビジネス・マシーンズ・コーポレーション,INTERNATIONAL BUSINESS MACHINES CORPORATION
代理人個人,特許業務法人ピー・エス・ディ
主分類G06T 7/00 20170101AFI20220617BHJP(計算;計数)
要約【課題】差分誘導型ビデオ分析を行う方法、システム及びコンピュータ・プログラムを提供する。
【解決手段】方法は、第1の解像度を有するビデオから、第2の解像度を有するフレームのセットを取得する。第1の解像度は第2の解像度よりも高い。フレームのセットは、第1のフレームと、第2のフレームとを含む。方法はさらに、差分特徴マップを生成し、第1の解像度を有する第3のフレームを取得し、差分特徴マップに基づいて、第3のフレームにおける第1のオブジェクトの第1の位置を検出し、第3のフレームから、第1のクロップ・エリアを取得する。第1のクロップ・エリアは、第3のフレーム・エリアより小さい。方法はさらに、特徴マップ及び差分特徴マップに基づいて、空間的注意層を生成し、空間的注意層によって、第1のクロップ・エリアにおける第1のオブジェクトを検出する。
【選択図】図4
特許請求の範囲【請求項1】
コンピュータの情報処理によって、高解像度ビデオ分析を行う方法であって、
第1の解像度を有するビデオから、第2の解像度を有するフレームのセットを取得することであって、前記第1の解像度は前記第2の解像度より高く、
前記フレームのセットは、第1のフレームと前記第1のフレームに隣接する第2のフレームとを含む、取得することと、
前記第1のフレーム及び前記第2のフレームに基づいて、差分特徴マップを生成することと、
前記ビデオから、前記第1の解像度を有する第3のフレームを取得することであって、前記第3のフレームは第3のフレーム・エリアを有する、取得することと、
前記差分特徴マップに基づいて、前記第3のフレームにおける第1のオブジェクトの第1の位置を検出することと、
前記第3のフレームから、前記第1のオブジェクトに対応する第1のクロップ・エリアをクロップすることであって、前記第1のクロップ・エリアは前記第3のフレーム・エリアより小さい、クロップすることと、
前記第1のクロップ・エリアの第1の特徴マップを生成することと、
前記第1の特徴マップ及び前記差分特徴マップに基づいて、空間的注意層を生成することと、
前記空間的注意層によって、前記第1のクロップ・エリアにおける前記第1のオブジェクトを検出することと
を含む、方法。
続きを表示(約 1,700 文字)【請求項2】
前記差分特徴マップを生成することは、前記第1のフレームの第1のピクセルに対応する第1の値と前記第2のフレームの第2のピクセルに対応する第2の値との間の差分を計算することを含む、請求項1に記載の方法。
【請求項3】
前記第1の値及び前記第2の値は赤緑青(RGB)値を含む、請求項2に記載の方法。
【請求項4】
前記空間的注意層によって出力を生成することと、
前記出力を畳み込みニューラル・ネットワークのヘッドに入力することと
をさらに含む、請求項1から請求項3までのいずれか1項に記載の方法。
【請求項5】
前記第1の位置を検出することは、
前記差分特徴マップにおいて、閾値を超えるそれぞれの値を有するピクセル位置のセットを識別することと、
前記ピクセル位置のセットを含むバウンディング・ボックス・エリアを選択することと、
前記バウンディング・ボックス・エリアを前記第3のフレームに変換して、変換されたバウンディング・ボックス・エリアをもたらすことと
を含み、
前記変換されたバウンディング・ボックス・エリアは前記第1のクロップ・エリアを含む、
請求項1から請求項4までのいずれか1項に記載の方法。
【請求項6】
前記第1のオブジェクトを検出することは、前記空間的注意層によって、畳み込みニューラル・ネットワークの出力を正規化することを含む、請求項1から請求項5までのいずれか1項に記載の方法。
【請求項7】
前記空間的注意層は、畳み込みニューラル・ネットワークの重み付けされた出力と差分特徴マップの値との間の差分の計算を含む、請求項1から請求項6までのいずれか1項に記載の方法。
【請求項8】
前記第1の解像度は(7680×4320)ピクセルであり、前記第2の解像度は(680×480)ピクセルである、請求項1から請求項7までのいずれか1項に記載の方法。
【請求項9】
高解像度ビデオ分析を行うシステムであって、
1つ又は複数のプロセッサと、
プログラム命令を格納する1つ又は複数のコンピュータ可読ストレージ媒体と、
を含み、
前記プログラム命令は、前記1つ又は複数のプロセッサにより実行されたとき、前記1つ又は複数のプロセッサに、
第1の解像度を有するビデオから、第2の解像度を有するフレームのセットを取得することであって、前記第1の解像度は前記第2の解像度より高く、
前記フレームのセットは、第1のフレームと前記第1のフレームに隣接する第2のフレームとを含む、取得することと、
前記第1のフレーム及び前記第2のフレームに基づいて、差分特徴マップを生成することと、
前記ビデオから、前記第1の解像度を有する第3のフレームを取得することであって、前記第3のフレームは第3のフレーム・エリアを有する、取得することと、
前記差分特徴マップに基づいて、前記第3のフレームにおける第1のオブジェクトの第1の位置を検出することと、
前記第3のフレームから、前記第1のオブジェクトに対応する第1のクロップ・エリアをクロップすることであって、前記第1のクロップ・エリアは前記第3のフレーム・エリアより小さい、クロップすることと、
前記第1のクロップ・エリアの第1の特徴マップを生成することと、
前記第1の特徴マップ及び前記差分特徴マップに基づいて、空間的注意層を生成することと、
前記空間的注意層によって、前記第1のクロップ・エリアにおける前記第1のオブジェクトを検出することと
を含む方法を実行させるように構成される、システム。
【請求項10】
前記差分特徴マップを生成することは、前記第1のフレームの第1のピクセルに対応する第1の値と前記第2のフレームの第2のピクセルに対応する第2の値との間の差分を計算することを含む、請求項9に記載のシステム。
(【請求項11】以降は省略されています)

発明の詳細な説明【技術分野】
【0001】
本開示は、ビデオ分析に関し、より具体的には、高解像度ビデオ分析に関する。
続きを表示(約 1,900 文字)【背景技術】
【0002】
ビデオ分析は、デジタル・ビデオ記録などのビデオのフレーム内のオブジェクト及びその位置の検出を含むことができる。ビデオ分析は、検出されたオブジェクトのオブジェクト分類及び動作認識などのオペレーションをさらに含むことができる。幾つかの例では、ビデオ分析オペレーションを実行するために、少なくとも1つの畳み込みニューラル・ネットワーク(CNN)を利用してビデオを分析することができる。ビデオ分析の有効性は、分析されるビデオの解像度を上げることで向上させることができる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
差分誘導型ビデオ分析を行う方法、システム及びコンピュータ・プログラムを提供する。
【課題を解決するための手段】
【0004】
本開示の実施形態によれば、方法は、第1の解像度を有するビデオから、第2の解像度を有するフレームのセットを取得することを含むことができる。第1の解像度は第2の解像度より高いものとすることができる。フレームのセットは、第1のフレームと、第1のフレームに隣接する第2のフレームとを含むことができる。本方法は、第1のフレーム及び第2のフレームに基づいて、差分特徴マップを生成することを含むことができる。本方法は、ビデオから、第1の解像度を有する第3のフレームを取得することを含むことができる。第3のフレームは、第3のフレーム・エリアを有することができる。本方法は、差分特徴マップに基づいて、第3のフレームにおける第1のオブジェクトの第1の位置を検出することを含むことができる。本方法は、第3のフレームから、第1のオブジェクトに対応する第1のクロップ・エリア(cropped area)をクロップ(crop)することを含むことができる。第1のクロップ・エリアは、第3のフレーム・エリアより小さいものとすることができる。本方法は、第1のクロップ・エリアの第1の特徴マップを生成することを含むことができる。本方法は、第1の特徴マップ及び差分特徴マップに基づいて、空間的注意層(spatial attention layer)を生成することを含むことができる。本方法は、空間的注意層によって、第1のクロップ・エリアにおける第1のオブジェクトを検出することを含むことができる。
【0005】
上記の方法に対応するシステム及びコンピュータ・プログラム製品も本明細書に含まれる。
【0006】
上記の概要は、図示された各々の実施形態又は本開示の全ての実装を説明することを意図したものではない。
【図面の簡単な説明】
【0007】
本出願に含まれる図面は、本明細書に組み込まれ、その一部を形成する。これらの図面は、本開示の実施形態を示し、説明とともに本開示の原理を説明する役割を果たす。図面は、特定の実施形態を例示するものに過ぎず、本開示を限定するものではない。
【0008】
本開示の実施形態による差分誘導型(difference-guided)ビデオ分析システムを有するコンピューティング環境の例を示す。
本開示の実施形態に従って分析された例示的なビデオ・フレームを示す。
本開示の実施形態による、空間的注意層を含む例示的な畳み込みニューラル・ネットワークを示す。
本開示の実施形態による、差分誘導型ビデオ分析オペレーションを実行するための例示的な方法のフローチャートを示す。
本開示の実施形態により用いることができるコンピュータ・システムの代表的な主要コンポーネントを示す。
本開示の実施形態による、クラウド・コンピューティング環境を示す。
本開示の実施形態による、抽象化モデル層を示す。
【0009】
本発明は、種々の修正及び代替形態に従うが、その特定のものが例として図面に示され、詳細に説明される。しかしながら、その意図は本発明を説明される特定の実施形態に限定することではないことを理解されたい。反対に、その意図は本発明の趣旨及び範囲内に入る全ての修正、均等物、及び代替物をカバーすることである。
【発明を実施するための形態】
【0010】
本開示の態様は、ビデオ分析に関し、より具体的な態様は、差分誘導型ビデオ分析に関する。本開示は、必ずしもそのような用途に限定されるものではないが、この文脈を用いた様々な例の検討を通じて、本開示の様々な態様を理解することができる。
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

株式会社理研
演算装置
10日前
個人
電子旅程システム
22日前
個人
回覧支援システム
22日前
個人
喋るハイテク家電
15日前
個人
ライフ情報提供装置
22日前
個人
遺言書作成システム
23日前
個人
家系図作成システム
23日前
個人
曲目音声入力システム
15日前
株式会社鶴
管理サーバ
22日前
日本精機株式会社
車載表示装置
今日
凸版印刷株式会社
メタルカード
3日前
個人
結婚活動支援システム
8日前
個人
ゴーグル表示システム
22日前
HENNGE株式会社
サーバ
18日前
個人
情報提供システム
15日前
東レ株式会社
シミュレーション方法
18日前
個人
統計モデルによる勤務時間の推定
11日前
シャープ株式会社
家電システム
15日前
株式会社ノーリツ
給湯装置
1日前
凸版印刷株式会社
非接触通信ICシート
今日
ヤマキ有限会社
値引き管理システム
17日前
テルモ株式会社
表示装置
18日前
オグラ金属株式会社
食品カウンタ装置
2日前
三菱電機株式会社
映像表示装置
23日前
東洋計器株式会社
ガスの集中監視方法
16日前
中国電力株式会社
業務時間管理システム
4日前
株式会社リコー
情報処理装置および方法
22日前
ビィデザイン株式会社
仮想空間システム
15日前
ソプラ株式会社
メタデータ抽出プログラム
4日前
日本放送協会
物体検出装置及びプログラム
22日前
トヨタ自動車株式会社
情報処理装置
11日前
沖電気工業株式会社
制御装置
10日前
株式会社野村総合研究所
商品販売システム
24日前
株式会社野村総合研究所
商品販売システム
24日前
タブソリューション株式会社
情報処理装置
23日前
NISSHA株式会社
静電容量方式の圧力センサ
8日前
続きを見る