特許ウォッチ

公開番号2024087742
公報種別公開特許公報(A)
公開日2024-07-01
出願番号2023032906
出願日2023-03-03
発明の名称ビデオ符号化においてニューラルネットワークポストフィルタ目的情報をシグナリングするためのシステム及び方法
出願人シャープ株式会社
代理人個人,個人,個人,個人
主分類H04N 19/86 20140101AFI20240624BHJP(電気通信技術)
要約【課題】符号化されたビデオのためのニューラルネットワークポストフィルタパラメータ情報をシグナリングするデバイス及び方法を提供する。
【解決手段】ビットストリームを受信しビデオデータを再生成する任意のデバイスを含むビデオ復号装置は、ニューラルネットワークポストフィルタ特性メッセージを受信し、ニューラルネットワークポストフィルタ特性メッセージから、ポストフィルタの目的を示す第1のシンタックス要素をパースし、ポストフィルタの目的を示すシンタックス要素と、ポストフィルタの目的、入力フォーマッティング、出力フォーマッティング及び複雑さに関係するシンタックス要素が、ニューラルネットワークポストフィルタ特性メッセージ中に存在するかどうかを指定する第2のシンタックス要素をパースする。第1のシンタックス要素は、ニューラルネットワークポストフィルタ特性メッセージ中で第2のシンタックス要素に先行する。
【選択図】図6
特許請求の範囲【請求項１】
ビデオデータのニューラルネットワークフィルタリングを実行する方法であって、
ニューラルネットワークポストフィルタ特性メッセージを受信することと、
前記ニューラルネットワークポストフィルタ特性メッセージから、後処理フィルタの目的を示す第１のシンタックス要素をパースすることと、
前記ニューラルネットワークポストフィルタ特性メッセージから、前記後処理フィルタの目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関係するシンタックス要素が前記ニューラルネットワークポストフィルタ特性メッセージ中に存在するかどうかを指定する第２のシンタックス要素をパースすることであって、前記第１のシンタックス要素が、前記ニューラルネットワークポストフィルタ特性メッセージ中で前記第２のシンタックス要素に先行する、第２のシンタックス要素をパースすることと、
を含む、方法。
続きを表示（約 1,100 文字）【請求項２】
ニューラルネットワークポストフィルタ特性メッセージを受信し、
前記ニューラルネットワークポストフィルタ特性メッセージから、後処理フィルタの目的を示す第１のシンタックス要素をパースし、
前記ニューラルネットワークポストフィルタ特性メッセージから、前記後処理フィルタの目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関係するシンタックス要素が前記ニューラルネットワークポストフィルタ特性メッセージ中に存在するかどうかを指定する第２のシンタックス要素をパースし、前記第１のシンタックス要素が、前記ニューラルネットワークポストフィルタ特性メッセージ中で前記第２のシンタックス要素に先行する、
ように構成された１つ以上のプロセッサを備えるデバイス。
【請求項３】
前記１つ以上のプロセッサが、
前記ニューラルネットワークポストフィルタ特性メッセージから、入力整数テンソル中のクロマサンプル値のビット深度を指定する値を有する第３のシンタックス要素をパースするように更に構成されている、
請求項２に記載のデバイス。
【請求項４】
前記１つ以上のプロセッサが、
前記ニューラルネットワークポストフィルタ特性メッセージから、前記ニューラルネットワークポストフィルタ特性メッセージのコンテンツが前のニューラルネットワークポストフィルタ特性メッセージに対する更新を提供するかどうかを指定する値を有する第４のシンタックス要素をパースするように更に構成されている、
請求項３に記載のデバイス。
【請求項５】
前記デバイスが、ビデオ復号装置を含む、請求項２に記載のデバイス。
【請求項６】
ニューラルネットワークポストフィルタ特性メッセージをシグナリングし、
前記ニューラルネットワークポストフィルタ特性メッセージ中で、後処理フィルタの目的を示す第１のシンタックス要素をシグナリングし、
前記ニューラルネットワークポストフィルタ特性メッセージ中で、前記後処理フィルタの目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関係するシンタックス要素が前記ニューラルネットワークポストフィルタ特性メッセージ中に存在するかどうかを指定する第２のシンタックス要素をシグナリングし、前記第１のシンタックス要素が、前記ニューラルネットワークポストフィルタ特性メッセージ中で前記第２のシンタックス要素に先行する、
ように構成された１つ以上のプロセッサを備える、デバイス。
【請求項７】
前記デバイスが、ビデオ符号化装置を含む、請求項６に記載のデバイス。

発明の詳細な説明【技術分野】
【０００１】
本開示は、ビデオ符号化に関し、より詳細には、符号化されたビデオのためのニューラルネットワークポストフィルタパラメータ情報をシグナリングする技術に関する。
続きを表示（約 5,300 文字）【背景技術】
【０００２】
デジタルビデオ能力は、デジタルテレビ、ラップトップ又はデスクトップコンピュータ、タブレット型コンピュータ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、いわゆるスマートフォンを含むセルラー電話、医療用イメージングデバイスなどを含む、広範囲のデバイスに組み込むことができる。デジタルビデオは、ビデオ符号化規格に従って符号化されてもよい。ビデオ符号化規格は、符号化されたビデオデータをカプセル化する準拠ビットストリームのフォーマットを定義する。準拠ビットストリームは、復元されたビデオデータを生成するために、ビデオ復号デバイスによって受信及び復号され得るデータ構造である。ビデオ符号化規格は、ビデオ圧縮技術を組み込んでもよい。ビデオ符号化規格の例としては、ＩＳＯ／ＩＥＣＭＰＥＧ－４Ｖｉｓｕａｌ及びＩＴＵ－ＴＨ．２６４（ＩＳＯ／ＩＥＣＭＰＥＧ－４ＡＶＣとしても公知である）並びにＨｉｇｈ－ＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ（ＨＥＶＣ）が挙げられる。ＨＥＶＣは、ＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ（ＨＥＶＣ），Ｒｅｃ．ＩＴＵ－ＴＨ．２６５（２０１６年１２月）に記載されており、参照により本明細書に組み込まれ、本明細書ではＩＴＵ－ＴＨ．２６５と称する。ＩＴＵ－ＴＨ．２６５に関する拡張及び改善が、次世代ビデオ符号化規格の開発のために考えられている。例えば、ＩＴＵ－ＴＶｉｄｅｏＣｏｄｉｎｇＥｘｐｅｒｔｓＧｒｏｕｐ（ＶＣＥＧ）及びＩＳＯ／ＩＥＣ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ（ＭＰＥＧ）（ＪｏｉｎｔＶｉｄｅｏＥｘｐｌｏｒａｔｉｏｎＴｅａｍ（ＪＶＥＴ）と集合的に呼ばれる）は、現在のＨＥＶＣ規格の圧縮能力を著しく上回る圧縮能力を有する規格化されたビデオ符号化技術を有する。ＴｈｅＪｏｉｎｔＥｘｐｌｏｒａｔｉｏｎＭｏｄｅｌ７（ＪＥＭ７），ＡｌｇｏｒｉｔｈｍＤｅｓｃｒｉｐｔｉｏｎｏｆＪｏｉｎｔＥｘｐｌｏｒａｔｉｏｎＴｅｓｔＭｏｄｅｌ７（ＪＥＭ７），ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１Ｄｏｃｕｍｅｎｔ：ビデオ符号化技術を、ＩＴＵ－ＴＨ．２６５の能力を超えて向上させる可能性を有するものとして、ＪＶＥＴによって協調的試験モデル研究中であった符号化特徴について、ＪＶＥＴ－Ｇ１００１，Ｊｕｌｙ２０１７，Ｔｏｒｉｎｏ，ＩＴが説明しており、それが参照により本明細書に組み込まれる。ＪＥＭ７の符号化特徴は、ＪＥＭ参照ソフトウェアで実施されることに留意されたい。本明細書で使用されるとき、ＪＥＭという用語は、ＪＥＭ７に含まれるアルゴリズム及びＪＥＭ参照ソフトウェアの実施を集合的に表し得る。更に、ＶＣＥＧ及びＭＰＥＧが共同で発行した「ＪｏｉｎｔＣａｌｌｆｏｒＰｒｏｐｏｓａｌｓｏｎＶｉｄｅｏＣｏｍｐｒｅｓｓｉｏｎｗｉｔｈＣａｐａｂｉｌｉｔｉｅｓｂｅｙｏｎｄＨＥＶＣ」に応答して、ビデオ符号化ツールに関する複数の説明が様々なグループによって、１０
ｔｈ
ＭｅｅｔｉｎｇｏｆＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１１６－２０Ａｐｒｉｌ２０１８，ＳａｎＤｉｅｇｏ，ＣＡにおいて提案された。ビデオ符号化ツールの複数の説明から得られたビデオ符号化仕様の初期のドラフトテキストが、「ＶｅｒｓａｔｉｌｅＶｉｄｅｏＣｏｄｉｎｇ（Ｄｒａｆｔ１）」，１０
ｔｈ
ＭｅｅｔｉｎｇｏｆＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１１６－２０Ａｐｒｉｌ２０１８，ＳａｎＤｉｅｇｏ，ＣＡ，ｄｏｃｕｍｅｎｔＪＶＥＴ－Ｊ１００１－ｖ２において説明され、これは参照により本明細書に組み込まれ、ＪＶＥＴ－Ｊ１００１として参照される。ＶＣＥＧ及びＭＰＥＧによるビデオ符号化規格のこの開発は、汎用ビデオ符号化（ＶＶＣ）プロジェクトと呼ばれる。「ＶｅｒｓａｔｉｌｅＶｉｄｅｏＣｏｄｉｎｇ（Ｄｒａｆｔ１０）」，２０ｔｈＭｅｅｔｉｎｇｏｆＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１７－１６Ｏｃｔｏｂｅｒ２０２０，Ｔｅｌｅｃｏｎｆｅｒｅｎｃｅ，ｄｏｃｕｍｅｎｔＪＶＥＴ－Ｔ２００１－ｖ２は、ＶＶＣプロジェクトに対応するビデオ符号化仕様のドラフトテキストの現在の反復を表し、これは参照により本明細書に組み込まれ、ＪＶＥＴ－Ｔ２００１として参照される。
【０００３】
ビデオ圧縮技術は、ビデオデータを記憶し送信するためのデータ要件を低減することを可能にする。ビデオ圧縮技術は、ビデオ系列における固有の冗長性を利用することにより、データ要件を低減してもよい。ビデオ圧縮技術は、ビデオ系列を連続的により小さい部分（すなわち、ビデオ系列内のピクチャ群、ピクチャ群内のピクチャ、ピクチャ内の領域、領域内のサブ領域など）に再分割し得る。イントラ予測符号化技術（例えば、ピクチャ内の空間予測技術）及びインター予測技術（すなわち、ピクチャ間技術（時間））を使用して、符号化されるビデオデータのユニットとビデオデータの参照ユニットとの間の差分値を生成してもよい。差分値は、残差データと呼ばれることがある。残差データは、量子化された変換係数として符号化されてもよい。シンタックス要素は、残差データ及び参照符号化ユニット（例えば、イントラ予測モードインデックス、及び動き情報）に関連してもよい。残差データ及びシンタックス要素は、エントロピ符号化されてもよい。エントロピ符号化された残差データ及びシンタックス要素は、準拠ビットストリームを形成するデータ構造に含まれてもよい。
【発明の概要】
【０００４】
概して、本開示は、ビデオデータを符号化する様々な技術を説明する。特に、本開示は、符号化されたビデオデータのためのニューラルネットワークポストフィルタパラメータ情報をシグナリングする技術を説明する。本開示の技術は、ＩＴＵ－ＴＨ．２６４、ＩＴＵ－ＴＨ．２６５、ＪＥＭ、及びＪＶＥＴ－Ｔ２００１に関して説明されているが、本開示の技術は、ビデオ符号化に一般に適用可能であることに留意されたい。例えば、本明細書で説明する符号化技術は、ＩＴＵ－ＴＨ．２６５、ＪＥＭ、及びＪＶＥＴ－Ｔ２００１に含まれるもの以外のビデオブロック構造、イントラ予測技術、インター予測技術、変換技術、フィルタリング技術、及び／又はエントロピ符号化技術を含むビデオ符号化システム（将来のビデオ符号化規格に基づくビデオ符号化システムを含む）に組み込まれてもよい。したがって、ＩＴＵ－ＴＨ．２６４、ＩＴＵ－ＴＨ．２６５、ＪＥＭ、及び／又はＪＶＥＴ－Ｔ２００１の参照は、説明のためのものであり、本明細書で説明する技術の範囲を限定するように解釈すべきではない。更に、本明細書での文書の参照による組み込みは、説明のためのものであり、本明細書で使用される用語に関して限定する又は曖昧さを生むように解釈されるべきではないことに留意されたい。例えば、組み込まれた参照が、別の組み込まれた参照のものとは異なる用語の定義を与える場合、かつ／又はその用語が本明細書で使用されるような場合には、その用語は、それぞれの対応する定義を幅広く含むように、及び／又は代わりに特定の定義のそれぞれを含むように解釈されるべきである。
【０００５】
一実施例では、ビデオデータを符号化する方法は、ニューラルネットワークポストフィルタ特性メッセージをシグナリングすることと、ニューラルネットワークポストフィルタ特性メッセージ中で、後処理フィルタの目的を示す第１のシンタックス要素をシグナリングすることと、ニューラルネットワークポストフィルタ特性メッセージ中で、後処理フィルタの目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関係するシンタックス要素がニューラルネットワークポストフィルタ特性メッセージ中に存在するかどうかを指定する第２のシンタックス要素をシグナリングすることあって、第１のシンタックス要素が、ニューラルネットワークポストフィルタ特性メッセージ中で第２のシンタックス要素に先行する、第２のシンタックス要素をシグナリングすることと、を含む。
【０００６】
一実施例では、デバイスは、ニューラルネットワークポストフィルタ特性メッセージをシグナリングし、ニューラルネットワークポストフィルタ特性メッセージ中で、後処理フィルタの目的を示す第１のシンタックス要素をシグナリングし、ニューラルネットワークポストフィルタ特性メッセージ中で、後処理フィルタの目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関係するシンタックス要素がニューラルネットワークポストフィルタ特性メッセージ中に存在するかどうかを指定する第２のシンタックス要素をシグナリングし、第１のシンタックス要素が、ニューラルネットワークポストフィルタ特性メッセージ中で第２のシンタックス要素に先行する、ように構成された１つ以上のプロセッサを備える。
【０００７】
一実施例では、非一時的コンピュータ可読記憶媒体は、実行されると、デバイスの１つ以上のプロセッサに、ニューラルネットワークポストフィルタ特性メッセージをシグナリングさせ、ニューラルネットワークポストフィルタ特性メッセージ中で、後処理フィルタの目的を示す第１のシンタックス要素をシグナリングさせ、ニューラルネットワークポストフィルタ特性メッセージ中で、後処理フィルタの目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関係するシンタックス要素がニューラルネットワークポストフィルタ特性メッセージ中に存在するかどうかを指定する第２のシンタックス要素をシグナリングさせ、第１のシンタックス要素が、ニューラルネットワークポストフィルタ特性メッセージ中で第２のシンタックス要素に先行する、その上に記憶された命令を含む。
【０００８】
一実施例では、装置は、ニューラルネットワークポストフィルタ特性メッセージをシグナリングする手段と、ニューラルネットワークポストフィルタ特性メッセージ中で、後処理フィルタの目的を示す第１のシンタックス要素をシグナリングする手段と、ニューラルネットワークポストフィルタ特性メッセージ中で、後処理フィルタの目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関係するシンタックス要素がニューラルネットワークポストフィルタ特性メッセージ中に存在するかどうかを指定する第２のシンタックス要素をシグナリングする手段であって、第１のシンタックス要素が、ニューラルネットワークポストフィルタ特性メッセージ中で第２のシンタックス要素に先行する、第２のシンタックス要素をシグナリングする手段と、を備える。
【０００９】
一実施例では、ビデオデータを復号する方法は、ニューラルネットワークポストフィルタ特性メッセージを受信することと、ニューラルネットワークポストフィルタ特性メッセージから、後処理フィルタの目的を示す第１のシンタックス要素をパースすることと、ニューラルネットワークポストフィルタ特性メッセージから、後処理フィルタの目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関係するシンタックス要素がニューラルネットワークポストフィルタ特性メッセージ中に存在するかどうかを指定する第２のシンタックス要素をパースすることであって、第１のシンタックス要素が、ニューラルネットワークポストフィルタ特性メッセージ中で第２のシンタックス要素に先行する、第２のシンタックス要素をパースすることと、を含む。
【００１０】
一実施例では、デバイスは、ニューラルネットワークポストフィルタ特性メッセージを受信し、ニューラルネットワークポストフィルタ特性メッセージから、後処理フィルタの目的を示す第１のシンタックス要素をパースし、ニューラルネットワークポストフィルタ特性メッセージから、後処理フィルタの目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関係するシンタックス要素がニューラルネットワークポストフィルタ特性メッセージ中に存在するかどうかを指定する第２のシンタックス要素をパースし、第１のシンタックス要素が、ニューラルネットワークポストフィルタ特性メッセージ中で第２のシンタックス要素に先行する、ように構成された１つ以上のプロセッサを備える。
（【００１１】以降は省略されています）

関連特許