特許ウォッチ

公開番号2024050874
公報種別公開特許公報(A)
公開日2024-04-10
出願番号2024018033,2022109027
出願日2024-02-08,2019-02-18
発明の名称変動する解像度をサポートしかつ/または領域単位パッキングを効率的に処理するピクチャ/ビデオコーディング
出願人フラウンホファーゲセルシャフトツールフェールデルンクダーアンゲヴァンテンフォルシュンクエー.ファオ.
代理人弁理士法人鷲田国際特許事務所
主分類H04N 19/59 20140101AFI20240403BHJP(電気通信技術)
要約【課題】変動する解像度をサポートしかつ/または領域単位パッキングを効率的に処理するビデオ符号化/復号方法を提供する。
【解決手段】ビデオ復号方法は、符号化ビデオデータのビットストリームから、参照ピクチャリサンプリングが可能かどうか、及び参照ピクチャが現在のピクチャの対応するパラメータと異なることができるパラメータを有するかどうか、を示すフラグを復号することと、フラグに基づいて、参照ピクチャリサンプリングが可能であり、参照ピクチャのパラメータが現在のピクチャの対応するパラメータと異なることができることを判定することと、参照ピクチャのリサンプリングされた部分を生成するために、参照ピクチャの部分をリサンプリングすることと、参照ピクチャのリサンプリングされた部分を使用して、現在のピクチャを予測することと、を含む。
【選択図】図4a
特許請求の範囲【請求項１】
ビデオ復号のための方法であって、
符号化ビデオデータのビットストリームから、参照ピクチャリサンプリングが可能かどうか、および参照ピクチャが現在のピクチャの対応するパラメータと異なることができるパラメータを有するかどうか、を示すフラグを復号することであって、前記現在のピクチャの部分が前記参照ピクチャの部分を参照し、前記パラメータがルマサンプルにおけるピクチャの高さ（picture height）とルマサンプルにおけるピクチャの幅（picture width）の少なくとも１つを含む、フラグを復号することと、
前記フラグに基づいて、参照ピクチャリサンプリングが可能であり、前記参照ピクチャの前記パラメータが前記現在のピクチャの対応するパラメータと異なることができることを判定することと、
前記参照ピクチャのリサンプリングされた部分を生成するために、前記参照ピクチャの部分をリサンプリングすることと、
前記参照ピクチャの前記リサンプリングされた部分を使用して、前記現在のピクチャを予測することと、を含む、方法。
続きを表示（約 1,800 文字）【請求項２】
前記参照ピクチャの前記パラメータが前記現在のピクチャの対応するパラメータと異なることを判定することと、
前記参照ピクチャの前記パラメータが前記現在のピクチャの対応するパラメータと異なることの判定に応じて、前記参照ピクチャの部分をリサンプリングすることと、をさらに含む、請求項１に記載の方法。
【請求項３】
前記フラグは第１のフラグであり、
前記方法は、前記ビットストリームから、空間解像度が変化するかどうかを示す第２のフラグを復号すること、をさらに含む、請求項１に記載の方法。
【請求項４】
前記参照ピクチャのサイズおよび前記現在のピクチャのサイズが異なるかどうかを判定することと、
前記参照ピクチャのサイズおよび前記現在のピクチャのサイズが異なるかどうかの判定に応じて、前記参照ピクチャのサイズおよび前記現在のピクチャのサイズを表す比を導出することと、
前記比に基づいて、前記参照ピクチャの前記部分をリサンプリングすることと、をさらに含む、請求項１に記載の方法。
【請求項５】
前記参照ピクチャの前記部分をリサンプリングすることは、
前記現在のピクチャの空間解像度が前記参照ピクチャの空間解像度より大きいとき、前記現在のピクチャの空間解像度に対応させるために、前記参照ピクチャの前記部分をアップサンプリングすることと、
前記現在のピクチャの空間解像度が前記参照ピクチャの空間解像度より小さいとき、前記現在のピクチャの空間解像度に対応させるために、前記参照ピクチャの前記部分をダウンサンプリングすることと、を含む、請求項１に記載の方法。
【請求項６】
ランダムアクセスポイントが前記参照ピクチャと前記現在のピクチャとの間に配置されないように、前記参照ピクチャと前記現在のピクチャとの間の時間的距離がランダムアクセス距離より小さいことを判定すること、をさらに含む、請求項１に記載の方法。
【請求項７】
前記フラグは、空間解像度が符号化ビデオシーケンス内で変化することを許容することを、さらに示し、
ランダムアクセスフレームと前記現在のピクチャとの間の距離は、前記参照ピクチャと前記現在のピクチャとの間の距離より大きい、請求項１に記載の方法。
【請求項８】
ビデオ復号のための電子装置であって、該電子装置は、
符号化ビデオデータのビットストリームから、参照ピクチャリサンプリングが可能かどうか、および参照ピクチャが現在のピクチャの対応するパラメータと異なることができるパラメータを有するかどうか、を示すフラグを復号することであって、前記現在のピクチャの部分が前記参照ピクチャの部分を参照し、前記パラメータがルマサンプルにおけるピクチャの高さ（picture height）とルマサンプルにおけるピクチャの幅（picture width）の少なくとも１つを含む、フラグを復号することと、
前記フラグに基づいて、参照ピクチャリサンプリングが可能であり、前記参照ピクチャの前記パラメータが前記現在のピクチャの対応するパラメータと異なることができることを判定することと、
前記参照ピクチャのリサンプリングされた部分を生成するために、前記参照ピクチャの部分をリサンプリングすることと、
前記参照ピクチャの前記リサンプリングされた部分を使用して、前記現在のピクチャを予測することと、
を行うように構成されるプロセッサを備える、電子装置。
【請求項９】
前記プロセッサは、
前記参照ピクチャの前記パラメータが前記現在のピクチャの対応するパラメータと異なることを判定することと、
前記参照ピクチャの前記パラメータが前記現在のピクチャの対応するパラメータと異なることの判定に応じて、前記参照ピクチャの部分をリサンプリングすることと、をさらに行うように構成される、請求項８に記載の電子装置。
【請求項１０】
前記フラグは第１のフラグであり、
前記プロセッサは、前記ビットストリームから、空間解像度が変化するかどうかを示す第２のフラグを復号すること、をさらに行うように構成される、請求項８に記載の電子装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本出願は、変動する解像度をサポートしかつ/または領域単位パッキングを効率的に処理することを伴う、コーディング効率が改善されたビデオ/ピクチャコーディングに関する。
続きを表示（約 5,700 文字）【背景技術】
【０００２】
単一レイヤベースバージョンのHEVCは、コード化ビデオシーケンス内でピクチャ解像度が変化することを許容しない。そのことは、ランダムアクセスポイントRAPにおいて(たとえば、復号ピクチャバッファを完全にリセットするIDR RAPにおいて)のみ許容され、ここで、解像度変更は、復号ピクチャバッファ(DPB:decoded picture buffer)をフラッシング(flushing)することを含む、新たなコード化ビデオシーケンスの開始とともに行われ得る。しかしながら、DPBをフラッシングすることは、前にコーディングされた参照の活用が中断されるという事実により、達成可能なコーディング効率を著しく低減する。
【０００３】
したがって、コーディング効率を改善するために解像度変動をもっと効率的に活用できる、改善されたビデオ/ピクチャコーデックに対するニーズがある。
【０００４】
領域単位パッキングと呼ばれる、コード化ピクチャまたはコード化ビデオを介してパノラマシーンなどのシーンを搬送することを可能にするツールも存在し、ここで、ピクチャ/ビデオコーデックは、このシーンが領域単位で1つのピクチャ/複数のピクチャ上にマッピングされるやり方を気に留めない。マッピングは、エンコーダの側における前処理およびデコーダの側における後処理にすぎないが、コーデックは、領域単位パッキングの認識なしに、パックされた1つのピクチャ/複数のピクチャに対して動作する。MPEG OMAFは、たとえば、パックされた1つのピクチャ/複数のピクチャを介した、シーンのそのような伝達のためのフレームワークを提供する。たとえば、コーディングされた1つのピクチャ/複数のピクチャをシーン領域上に再マッピングするためにデコーダの側における後処理を制御するために、各々がシーンのそれぞれのシーン領域上にマッピングされるピクチャ領域への、コーディングされた1つのピクチャ/複数のピクチャの区分を規定するシーン区分/マッピングが、SEIメッセージを介して副次的情報としてシグナリングされる。そのような解決策は、既存のコーディングツール、すなわち、既存のピクチャ/ビデオコーデックの再使用の観点から効率的であるが、領域単位パッキングがもっと効率的に処理されることを可能にする当面の概念を有することが好都合なはずである。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
したがって、変動するシーン解像度を使用するときにコーディング効率の向上をもたらし、かつ/またはコーディングされた1つのピクチャ/複数のピクチャの領域単位パッキングのもっと効率的な処理を可能にする、符号化/復号ツールを提供することが本出願の目的である。
【０００６】
この目的は、本明細書とともに同封される独立請求項の主題によって達成される。
【課題を解決するための手段】
【０００７】
本出願の第1の態様によれば、ビデオ符号化がそこで実行されるランダムアクセス距離よりも細かい時間スケールでの、データストリームの中にビデオがコーディングされる目標空間解像度の変動をサポートすることにより、もっと効率的なビデオコーデックが達成される。目標空間解像度の時間的な変動は、ビデオエンコーダのレート制御の一部として制御され得る。ランダムアクセス距離よりも細かい時間スケールで目標空間解像度の変動が行われるとき、エンコーダが目標空間解像度を現在のビデオコーディング複雑度に適合させることを許容することによって、コーディング効率が向上し得る。目標空間解像度を変動させること、すなわち、ビデオのピクチャの中の相互に対応するピクチャコンテンツ当りのサンプルの個数に関して、異なる可能性が存在する。たとえば、ビデオエンコーダおよびビデオデコーダは、DPBがその中に直列に接続される予測ループを使用してよく、すでに処理されたピクチャは、変動する目標空間解像度でDPBの中にバッファリングされる。その場合、被参照ピクチャと被参照ピクチャを参照する参照ピクチャとの間に目標空間解像度差がある場合には、DPBの中のピクチャのリサンプリングがオンザフライで行われてよく、リサンプリングは、動き補償された予測子を与える。代替として、予測ループは、基準空間解像度で、すなわち、目標空間解像度がとり得るいかなる他の可能な値よりも大きくてよい、いくつかの固定の空間解像度で、ピクチャによってフィードされてよい。そのような場合、目標空間解像度と基準空間解像度との間のギャップを埋めるためにリサンプリングが行われてよい。たとえば、目標空間解像度ではなく基準空間解像度でDPBの中のピクチャから取得される予測子の予測修正を実行するために、基準空間解像度に向かう予測残差のリサンプリングを実行しながら、目標空間解像度で予測残差コーディングが行われる。代替として、目標空間解像度で予測修正を実行するために、DPBの中のピクチャから取得される予測子の、目標空間解像度に向かうリサンプリングが実行されてよい。これらのオプション間の切替えは、それぞれ、エンコーダおよびデコーダによってサポートされ得る。目標空間解像度の変動はピクチャレベルで行われてよく、すなわち、ピクチャごとに、目標空間解像度はエンコーダによって設定されてよく、データストリームの中でデコーダにシグナリングされてよい。一実施形態によれば、目標空間解像度およびそれに関連するピクチャサイズの連続した変化に関連するシグナリングオーバーヘッドは、たとえば、区分が比例的に一定である、すなわち、ピクチャが、それらの変動するサイズにもかかわらず互いに相互に比例する、すなわち、等しい空間解像度にスケーリングされたときに区分が符合するような方法などの、デフォルトの方法(default manner)で、目標空間解像度の変化に従ってビデオのピクチャを区分することによって緩和される。またさらなる実施形態によれば、区分の後の方の相対的なスケーリングは、1つのオプションとしてデータストリームの中で提示されてよく、他のオプションは、目標空間解像度が変動する時間スケールよりも細かいかまたはそれに等しい、所定の時間スケールでの区分をシグナリングすることを伴う。たった今述べた区分は、インター予測モードとイントラ予測モードとの間の選択がその単位で実行されるブロックをもたらすビデオ、インター予測ブロック用およびイントラ予測ブロック用の0予測パラメータがその単位で実行されるブロックをもたらすビデオ、または、それぞれ、エンコーダおよびデコーダにおいて、予測残差がその単位で変換もしくは逆変換の対象となるブロックをもたらすビデオ、あるいはピクチャが、互いに独立して、すなわち、イントラピクチャコーディング相互依存性を伴わずにコーディング/復号されるタイルに、その単位で再分割されるブロックをもたらすビデオなどの、ビデオを符号化するために使用され得る。
【０００８】
本出願のさらなる態様によれば、ビデオコーデックは、各々がシーンのそれぞれのシーン領域をその上にマッピングしたピクチャ領域に、シーン区分に従って区分されるビデオのピクチャを、このシーン区分に依存してコーディング/復号することを伴う。ビデオエンコーダは、たとえば、一種のユーザ設定などの、シーン区分の調整をサポートし、ビデオデコーダがそこからそれを導出するデータストリームの中で、このシーン区分をシグナリングする。シーン区分に依存するデータストリームの中のビデオのコーディング/復号をレンダリングすることによって、シーン区分は、ビデオコーデックに関する前処理/後処理であるだけでなく、ピクチャ領域への区分を規定するシーン区分、ならびにシーン領域上へのそれらのマッピングを考慮することによって、コーディング効率の向上を達成することを可能にする。たとえば、パックされたピクチャ、すなわち、ピクチャ領域に区分されるピクチャのコーディングに加えて、副次的情報としてシーン区分をシグナリングするのではなく、シーン区分シグナリングは、シーン区分にとって冗長であることになるシグナリングオーバーヘッドを少なくとも部分的に節約するように使用され得る。たとえば、パックされたピクチャをコーディングすることは、インターもしくはイントラ予測決定がその単位で行われるコーディングユニット、上述のブロック用の対応する予測パラメータがその単位で作られる予測ユニット、および/または予測残差がその単位で変換コーディングされる変換ユニット、ならびに/あるいはパックされたピクチャが互いに相互に独立した方法でその単位でコーディングされるタイルなどの、パックされたピクチャがその単位でコーディングされるブロックへのコーディング区分を伴ってよい。コーディング区分に関与するマルチツリー再分割に関連する分割決定が、たとえば、シーン区分に基づいて推測されてよく、それによってシグナリングオーバーヘッドを節約する。代替として、ビデオエンコーダは、単に、シーン区分に関するコーディング区分における制限に従ってよい。なおさらに、ビデオエンコーダおよびビデオデコーダのいくつかのコーディング/復号ツールは、このシーン区分に依存して動作させられてよい。たとえば、予測子の導出はシーン区分に依存して実行されてよい。シーン区分は、シーンサンプリング解像度、すなわち、シーンの単位面積もしくは単位視野角当りのサンプルの個数が、または異なって話すと、たとえば、シーン全体の分数として測定される対応するシーン領域サイズと比較した、たとえば、サンプルの個数単位で測定されるピクチャ領域サイズとの間の比が異なる1つのピクチャ内に、ピクチャ領域をもたらし得る。そのようなシーンサンプリング解像度の相違が、動き補償予測を実行する際にビデオエンコーダおよびビデオデコーダによって考慮され得る。たとえば、予測子は、インター予測ブロックが位置するピクチャ領域とそれぞれのインター予測ブロックの動きベクトルによって指し示される参照ピクチャのピクチャ領域との間の、シーンサンプリング解像度差に依存して決定されてよい。なおさらに、動きベクトル予測は、シーンサンプリング解像度差を考慮する方法で実行されてよい。たとえば、隣接ブロックのそのような動きベクトルを直ちに採用するのではなく、修正を介した隣接ブロックの動きベクトルに基づいて、動きベクトル候補が導出されてよく、この動きベクトルは、隣接ブロックの基準点に設定されたその初期点を有するバージョンのこの動きベクトル、およびインター予測ブロックの基準点に設定されたその初期点を有する別のバージョンのこの動きベクトルが、終点を有するような方法で複製されてよく、シーンの中のそうした終点の画像は、シーン区分を介して、シーンの中の隣接ブロックおよびインター予測ブロックの基準点の画像とは違った互いに同じ距離を有する。したがって、動きベクトル予測は、シーン領域にわたる迂回路を経由して行われ、それによってシーン区分に反応する。
【０００９】
さらに、ビデオのコーディング/復号は、コーディング区分に関する1つまたは複数のパラメータを設定する観点から、シーン区分に反応することがある。たとえば、そのようなパラメータは、ピクチャ領域に対してデータストリームの中で個別に設定およびシグナリングされ得る。代替または追加として、ビデオの所定のピクチャのフィルタ処理は、その少なくとも1つのパラメータがシーン区分に応じて所定のピクチャにわたって変動させられるフィルタを使用して行われ得る。たとえば、隣接/接触しているピクチャ領域の間のシーンサンプリング解像度の差分に応じて、隣接ピクチャ領域の間の境界面において少なくとも1つのパラメータが設定され得る。この方法により、フィルタ特性は、シーンサンプリング解像度を考慮することによって、より精密に動作することができる。なおさらに、ビデオエンコーダおよびビデオデコーダは、シーンの中で互いに境を接しないピクチャ領域の間の境界面、すなわち、シーン不連続境界面の位置を、シーン区分に基づいて特定することができる。符号化および復号は、これらのシーン不連続境界面に反応することがある。すなわち、たとえば、エンコーダは、たとえば、これらのシーン不連続境界面をピクチャ境界のように扱うことができる。デコーダおよびエンコーダは、シーンの中で互いに境を接するピクチャ領域の間の境界面と比較して、そのようなシーン不連続境界面においてフィルタ処理を異なって実行することができる。さらに代替として、少なくとも1つのパラメータのピクチャ領域単位のシグナル化がサポートされてよい。代替または追加として、量子化雑音の空間周波数スペクトルのスペクトル形状を制御する量子化パラメータは、特にピクチャ領域単位で、すなわち1つまたは複数のピクチャ領域のグループの単位で設定されることが許容され得る。変動はデータストリームの中でシグナリングされてよい。
【００１０】
後者の態様、すなわち、量子化の量子化雑音の空間周波数スペクトルのスペクトル形状を制御する少なくとも1つの量子化パラメータの変動は、本出願のさらなる態様によれば、シーン区分を使用するか否かとは無関係に使用されてよい。特に局所的または空間的に変動する解像度を有するとき、量子化パラメータをピクチャの局所的な特性に適合させることによって、コーディング効率が向上し得る。
（【００１１】以降は省略されています）

関連特許