特許ウォッチ

公開番号2024170380
公報種別公開特許公報(A)
公開日2024-12-10
出願番号2024079257
出願日2024-05-15
発明の名称ビデオ監視用途のための拡張ビデオコーディング
出願人アクシスアーベー
代理人園田・小林弁理士法人
主分類H04N 19/33 20140101AFI20241203BHJP(電気通信技術)
要約【課題】ビデオ監視用途のための拡張ビデオコーディングの方法及び記憶媒体を提供する。
【解決手段】ビデオフレームのシーケンスを含む入力ビデオをハイブリッドビデオストリームとして符号化する方法であって、入力ビデオを元の空間解像度から、低減された空間解像度および中間空間解像度にダウンサンプリングすることと、ベース符号化ストリームを取得するために、低減された空間解像度における入力ビデオをベースエンコーダに提供することと、中間空間解像度における第1の残差に基づく1の拡張ストリームを提供することと、時間予測を使用して少なくとも部分的に符号化される、元の空間解像度における第2の残差に基づく第2の拡張ストリームを提供することと、ビデオフレームにおける少なくとも1つの非動き領域を検出することと、第2の残差のセットではなく第1の残差のセットが非動き領域全体にわたって消失することを引き起こすことと、を含む。
【選択図】図6
特許請求の範囲【請求項１】
ビデオフレームのシーケンスを含む入力ビデオをハイブリッドビデオストリームとして符号化する方法であって、前記方法は、
前記入力ビデオを元の空間解像度から、低減された空間解像度および中間空間解像度にダウンサンプリングすることと、
ベース符号化ストリームを取得するために、前記低減された空間解像度における前記入力ビデオをベースエンコーダに提供することと、
第１の拡張ストリームを、
前記入力ビデオと前記中間空間解像度における再構成されたビデオとの間の差に基づいて、第１の残差のセットを生成することと、
第１の残差の前記セットを量子化することと、
量子化された第１の残差の前記セットから前記第１の拡張ストリームを形成することと
によって、提供することと、
第２の拡張ストリームを、
前記入力ビデオと前記元の空間解像度における再構成されたビデオとの間の差に基づいて、第２の残差のセットを生成することと、
第２の残差の前記セットを量子化することと、
量子化された第２の残差の前記セットから前記第２の拡張ストリームを形成することと
によって、提供することであって、
前記第２の拡張ストリームが、時間予測を使用して少なくとも部分的に符号化され、さらに、時間予測が使用されるかどうかを示す時間シグナリングを含む、
前記第２の拡張ストリームを提供することと、
前記ベース符号化ストリーム、前記第１の拡張ストリーム、および前記第２の拡張ストリームから、前記ハイブリッドビデオストリームを形成することと
を含み、
前記方法が、
ビデオフレームにおける少なくとも１つの非動き領域を検出することと、
第２の残差の前記セットではなく第１の残差の前記セットが前記非動き領域全体にわたって消失することを引き起こすことと
をさらに含むことを特徴とする、方法。
続きを表示（約 1,200 文字）【請求項２】
第１の残差の前記セットが、量子化された第１の残差の前記セットにマスキングを適用することによって、前記非動き領域全体にわたって消失することを引き起こされる、請求項１に記載の方法。
【請求項３】
第１の残差の前記セットが、
前記ビデオフレームの前記非動き領域において、第１の残差の前記セットを生成することより前に、前記中間空間解像度における前記入力ビデオを、前記低減された空間解像度における前記入力ビデオからアップサンプリングされた置換ビデオと置き換えること
によって、前記非動き領域全体にわたって消失することを引き起こされる、請求項１に記載の方法。
【請求項４】
前記入力ビデオをダウンサンプリングすることが、
前記非動き領域における前記低減された空間解像度と他の場所における前記中間空間解像度とを有するデュアル解像度ビデオフレームを提供すること
を含む、請求項３に記載の方法。
【請求項５】
第１の残差の前記セットが、前記入力ビデオと前記中間空間解像度における再構成されたビデオとの間の前記差にマスキングを適用することによって、または前記量子化することより前に第１の残差の前記セットにマスキングを適用することによって、前記非動き領域全体にわたって消失することを引き起こされる、請求項１に記載の方法。
【請求項６】
第１の残差の前記セットが、
前記ビデオフレームの前記非動き領域において、第１の残差の前記セットを生成することより前に、前記入力ビデオから、前記入力ビデオと前記中間空間解像度における前記再構成されたビデオとの間の予測された差を減算すること
によって、前記非動き領域全体にわたって消失することを引き起こされる、請求項１に記載の方法。
【請求項７】
前記第１の拡張ストリームの各ビデオフレームが、前記第１の拡張ストリームの他のビデオフレームを参照せずに復号可能である、請求項１に記載の方法。
【請求項８】
前記第２の拡張ストリームを提供することが、ビデオフレームにおける第２の残差または量子化された第２の残差の各セットについて、１つまたは複数の他のビデオフレームを参照して時間予測を使用すべきかどうかを決定することと、時間予測が前記ビデオフレームにおいて使用されるかどうかを前記時間シグナリングによって示すこととをさらに含む、請求項１に記載の方法。
【請求項９】
前記少なくとも１つの非動き領域が、前記元の空間解像度における前記入力ビデオのビデオフレームにおいて、または前記中間空間解像度における前記入力ビデオのビデオフレームにおいて検出される、請求項１に記載の方法。
【請求項１０】
前記中間空間解像度が、前記低減された空間解像度よりも細かいか、または前記中間空間解像度と前記低減された空間解像度とが等しい、請求項１に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、ビデオコーディングの分野に関し、詳細には、ビデオ監視用途に好適な拡張ビデオコーディングの実装形態に関する。
続きを表示（約 4,700 文字）【背景技術】
【０００２】
拡張ビデオコーディングは、１つまたは複数の拡張レイヤが再構成されたベースビデオと組み合わせられたとき、拡張されたビデオストリームが作り出されるように、その拡張レイヤをベースコーデックで符号化されたベースビデオに追加するための技法を指す。拡張レイヤは、再構成されたビデオの、圧縮能力拡大、より低い符号化／復号複雑度、改善された解像度および改善された品質など、改善された特徴を既存のコーデックに提供する。ベースビデオと１つまたは複数の拡張レイヤとの組み合わせは、ハイブリッドビデオストリームと呼ばれることがある。
【０００３】
そのような技法の中で、低複雑度拡張ビデオコーディング（ＬＣＥＶＣ）仕様、またはＭＰＥＧ－５は、ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ０４（ＭＰＥＧ）ビデオコーディングによって承認された最近の規格である。それは、他のコーディング方式の上で機能し、それによりマルチレイヤビデオコーディング技術を生じ、また、ベースビデオから独立して（１つまたは複数の）拡張レイヤを追加する。ＬＣＥＶＣ技術は、より低い解像度における復号されたビデオを入力としてとり、元の品質における入力ビデオとの比較に基づいて、単純な時間予測、周波数変換、量子化、およびエントロピー符号化など、特殊な低複雑度コーディングツールで符号化された残差の最高２つの拡張サブレイヤを追加する。ＬＣＥＶＣ規格の主な特徴の提示が、以下の参考文献のいずれかにおいて見られ得る。
［１］
Ｓ．Ｂａｔｔｉｓｔａら、「ＯｖｅｒｖｉｅｗｏｆｔｈｅＬｏｗＣｏｍｐｌｅｘｉｔｙＥｎｈａｎｃｅｍｅｎｔＶｉｄｅｏＣｏｄｉｎｇ（ＬＣＥＶＣ）Ｓｔａｎｄａｒｄ」、ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＣｉｒｃｕｉｔｓａｎｄＳｙｓｔｅｍｓｆｏｒＶｉｄｅｏＴｅｃｈｎｏｌｏｇｙ、ｖｏｌ．３２、ｎｏ．１１、７９８３～７９９５ページ（ＤＯＩ：１０．１１０９／ＴＣＳＶＴ．２０２２．３１８２７９３）、２０２２
［２］
「ＷｈｉｔｅｐａｐｅｒｏｎＬｏｗＣｏｍｐｌｅｘｉｔｙＥｎｈａｎｃｅｍｅｎｔＶｉｄｅｏＣｏｄｉｎｇ（ＬＣＥＶＣ）」、ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＡＧ３Ｎ００５８、２０２２年１月
［３］
ＷＯ２０２０１８８２７３Ａ１
ＬＣＥＶＣ規格の仕様が、次のように公開されている。
［４］
ＩＳＯ／ＩＥＣ２３０９４－２－ＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ－ＧｅｎｅｒａｌＶｉｄｅｏＣｏｄｉｎｇ－Ｐａｒｔ２：ＬｏｗＣｏｍｐｌｅｘｉｔｙＥｎｈａｎｃｅｍｅｎｔＶｉｄｅｏＣｏｄｉｎｇ、ＳｔａｎｄａｒｄＩＳＯ／ＩＥＣ２３０９４－２：２０２１、２０２１年１１月
［５］
ＩＳＯ／ＩＥＣ２３０９４－３－ＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ－ＧｅｎｅｒａｌＶｉｄｅｏＣｏｄｉｎｇ－Ｐａｒｔ３：ＣｏｎｆｏｒｍａｎｃｅａｎｄＲｅｆｅｒｅｎｃｅＳｏｆｔｗａｒｅｆｏｒＬｏｗＣｏｍｐｌｅｘｉｔｙＥｎｈａｎｃｅｍｅｎｔＶｉｄｅｏＣｏｄｉｎｇ、ＳｔａｎｄａｒｄＩＳＯ／ＩＥＣ２３０９４－３：２０２１、２０２２
【０００４】
ＬＣＥＶＣの設計は、ベースレイヤの圧縮されたビデオ表現に対する拡張の最高２つのサブレイヤを予見する。第１のレイヤ（サブレイヤ１）は、随意であり、ＬＣＥＶＣビットストリームにおける対応するシグナリングによって無効にされ得るが、第２のレイヤ（サブレイヤ２）は必須である。第１のレイヤとは異なり、第２のレイヤは、バッファされた値に基づいて残差の各ブロックを予測すること、または場合によっては時間予測なしにブロックを符号化することを試みる、時間予測段を含む。所与のブロックについて、時間予測を使用すべきか否かという判断は、異なるビデオフレームについて異なり得る。したがって、ＬＣＥＶＣが２つのサブレイヤとともに動作されるとき、拡張データのかなりの部分が、時間予測なしにサブレイヤ１において符号化されることになる。経験により、２レイヤＬＣＥＶＣのコーディング効率は、ビデオ監視用途において獲得されるデータの特性である、局所的に強い時間相関を有するビデオデータについて、比較的不十分であることが確認されたと思われる。概してビデオデータが強い時間相関を有するような、または各フレームの領域が考慮されるときに強い時間相関が観測され得るような事例において、データ圧縮を改善することが望ましいであろう。
【先行技術文献】
【特許文献】
【０００５】
ＷＯ２０２０１８８２７３Ａ１
【非特許文献】
【０００６】
Ｓ．Ｂａｔｔｉｓｔａら、「ＯｖｅｒｖｉｅｗｏｆｔｈｅＬｏｗＣｏｍｐｌｅｘｉｔｙＥｎｈａｎｃｅｍｅｎｔＶｉｄｅｏＣｏｄｉｎｇ（ＬＣＥＶＣ）Ｓｔａｎｄａｒｄ」、ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＣｉｒｃｕｉｔｓａｎｄＳｙｓｔｅｍｓｆｏｒＶｉｄｅｏＴｅｃｈｎｏｌｏｇｙ、ｖｏｌ．３２、ｎｏ．１１、７９８３～７９９５ページ（ＤＯＩ：１０．１１０９／ＴＣＳＶＴ．２０２２．３１８２７９３）、２０２２
「ＷｈｉｔｅｐａｐｅｒｏｎＬｏｗＣｏｍｐｌｅｘｉｔｙＥｎｈａｎｃｅｍｅｎｔＶｉｄｅｏＣｏｄｉｎｇ（ＬＣＥＶＣ）」、ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＡＧ３Ｎ００５８、２０２２年１月
ＩＳＯ／ＩＥＣ２３０９４－２－ＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ－ＧｅｎｅｒａｌＶｉｄｅｏＣｏｄｉｎｇ－Ｐａｒｔ２：ＬｏｗＣｏｍｐｌｅｘｉｔｙＥｎｈａｎｃｅｍｅｎｔＶｉｄｅｏＣｏｄｉｎｇ、ＳｔａｎｄａｒｄＩＳＯ／ＩＥＣ２３０９４－２：２０２１、２０２１年１１月
ＩＳＯ／ＩＥＣ２３０９４－３－ＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ－ＧｅｎｅｒａｌＶｉｄｅｏＣｏｄｉｎｇ－Ｐａｒｔ３：ＣｏｎｆｏｒｍａｎｃｅａｎｄＲｅｆｅｒｅｎｃｅＳｏｆｔｗａｒｅｆｏｒＬｏｗＣｏｍｐｌｅｘｉｔｙＥｎｈａｎｃｅｍｅｎｔＶｉｄｅｏＣｏｄｉｎｇ、ＳｔａｎｄａｒｄＩＳＯ／ＩＥＣ２３０９４－３：２０２１、２０２２
【発明の概要】
【０００７】
本開示の１つの目的は、ビデオデータが強い時間相関を有する事例を識別する能力を用いた拡張ビデオコーディング技法を提案すること、およびコーディング効率、データ圧縮効率、または［１］において説明される品質メトリックのいずれかなど、様々な性能の態様を改善するために時間相関を利用することである。あるビデオ品質レベルに達するために、より良いコーディング効率、より低いビットレートが必要とされる。別の目的は、入力ビデオの各フレームの領域に限られた時間相関（局所的時間相関）を利用することができる拡張ビデオコーディング技法を提案することである。さらなる目的は、強い局所的時間相関をもつビデオデータに関して、２レイヤＬＣＥＶＣの性能を改善することである。さらなる目的は、特にビデオ監視用途のためにＬＣＥＶＣを適応させることである。またさらなる目的は、既存のＬＣＥＶＣ設計に最小限に干渉するそのような適応を提案することである。
【０００８】
これらの目的のうちの少なくともいくつかが、独立請求項によって定義されるように本発明によって達成される。従属請求項は、有利な実施形態に関する。
【０００９】
本開示の第１の態様によれば、ビデオフレームのシーケンスを含む入力ビデオをハイブリッドビデオストリームとして符号化する方法が提供される。本方法は、入力ビデオを元の空間解像度から、低減された空間解像度および中間空間解像度にダウンサンプリングすることと、ベース符号化ストリームを取得するために、低減された空間解像度における入力ビデオをベースエンコーダに提供することと、第１の拡張ストリームを、入力ビデオと中間空間解像度における再構成されたビデオとの間の差に基づいて、第１の残差のセットを生成すること（たとえば、再構成されたビデオは、ベース符号化ストリームを復号することと、出力をアップサンプリングすることとによって取得されていることがある）と、第１の残差のセットを量子化することと、量子化された第１の残差のセットから第１の拡張ストリームを形成することとによって、提供することと、第２の拡張ストリームを、入力ビデオと元の空間解像度における再構成されたビデオとの間の差に基づいて、第２の残差のセットを生成すること（たとえば、中間空間解像度における再構成されたビデオから開始して、元の空間解像度における再構成されたビデオは、第１の残差の再構成を加算することと、出力をアップサンプリングすることとによって取得されていることがある）と、第２の残差のセットを量子化することと、量子化された第２の残差のセットから第２の拡張ストリームを形成することとによって、提供することと、ベース符号化ストリーム、第１の拡張ストリーム、および第２の拡張ストリームから、ハイブリッドビデオストリームを形成することとを含む。第２の拡張ストリームは、時間予測を使用して少なくとも部分的に符号化され（すなわち、少なくともいくつかのブロック、いくつかのフレームまたはいくつかの時間セグメントが、時間予測を使用して符号化され）、さらに、時間予測が使用されるかどうかを示す時間シグナリングを含む。第１の態様によれば、本方法は、ビデオフレームにおける少なくとも１つの非動き領域を検出することと、第１の残差のセットが非動き領域全体にわたって消失する（ｖａｎｉｓｈ）ことを引き起こすこととをさらに含む。好ましくは、第２の残差のセットは、非動き領域において消失することを引き起こされない。
【００１０】
本開示の第１の態様に関連する利点は、第１の拡張ストリームが、実質的に、非動き領域に関するデータがないことになることである。より正確には、本発明者は、強い局所的時間相関をもつビデオデータに適用されたときの２レイヤＬＣＥＶＣの不十分なコーディング効率が、大部分は、第１の拡張レイヤによるものであることを了解した。第１の拡張ストリームは、時間予測なしに符号化され、したがって、強い時間相関をもつ入力ビデオのための最適なコーディング媒体（ｃｏｄｉｎｇｖｅｈｉｃｌｅ）である可能性が低い。代わりに、非動き領域の拡張コーディングの実質的にすべてが、時間予測が利用可能である第２の拡張ストリーム（ＬＣＥＶＣ規格におけるサブレイヤ２）によって行われることになる。本開示の第１の態様に関するさらなる利点は、復号側で必要とされる修正がないことである。デコーダは、本明細書で開示される教示を使用してハイブリッドビデオストリームが準備されたことを知ることなしに、ハイブリッドビデオストリームを適切に復号することができる。
（【００１１】以降は省略されています）

関連特許