特許ウォッチ

公開番号2024057562
公報種別公開特許公報(A)
公開日2024-04-24
出願番号2023003991
出願日2023-01-13
発明の名称ビデオ符号化においてニューラルネットワークポストフィルタフレームレートアップサンプリング情報をシグナリングするためのシステム及び方法
出願人シャープ株式会社
代理人個人,個人,個人,個人
主分類H04N 19/82 20140101AFI20240417BHJP(電気通信技術)
要約【課題】符号化されたビデオのためのニューラルネットワークポストフィルタパラメータ情報をシグナリングするデバイス、システム及び方法を提供する。
【解決手段】ビデオ復号装置は、ニューラルネットワークポストフィルタピクチャ補間プロセスのための入力として使用される入力ピクチャの数を指定するシンタックス要素と、ニューラルネットワークポストフィルタピクチャ補間プロセスに入力される前に入力ピクチャが連結される方式を指定する値を有するシンタックス要素と、を含むニューラルネットワークポストフィルタ特性メッセージに含まれる情報に基づいて、フレームレートアップサンプリングを実行する。
【選択図】図6
特許請求の範囲【請求項１】
ビデオデータに対してニューラルネットワークフィルタリングを実行する方法であって、
ニューラルネットワークポストフィルタ特性メッセージを受信することと、
ニューラルネットワークポストフィルタピクチャ補間プロセスのための入力として使用される入力ピクチャの数を指定する第１のシンタックス要素を、前記ニューラルネットワークポストフィルタ特性メッセージからパースすることと、
前記ニューラルネットワークポストフィルタピクチャ補間プロセスに入力される前に入力ピクチャが連結される方式を指定する値を有する第２のシンタックス要素を、前記ニューラルネットワークポストフィルタ特性メッセージからパースすることと、
前記第２のシンタックス要素の前記値に基づいて入力ピクチャを連結することと、
を含む、方法。
続きを表示（約 1,200 文字）【請求項２】
１つ以上のプロセッサを備えるデバイスであって、前記１つ以上のプロセッサが、
ニューラルネットワークポストフィルタ特性メッセージを受信し、
ニューラルネットワークポストフィルタピクチャ補間プロセスのための入力として使用される入力ピクチャの数を指定する第１のシンタックス要素を、前記ニューラルネットワークポストフィルタ特性メッセージからパースし、
前記ニューラルネットワークポストフィルタピクチャ補間プロセスに入力される前に入力ピクチャが連結される方式を指定する値を有する第２のシンタックス要素を、前記ニューラルネットワークポストフィルタ特性メッセージからパースし、
前記第２のシンタックス要素の前記値に基づいて入力ピクチャを連結する
ように構成されている、デバイス。
【請求項３】
前記１つ以上のプロセッサが、
出力ピクチャが連結される方式を指定する値を有する第３のシンタックス要素を、前記ニューラルネットワークポストフィルタ特性メッセージからパースする
ように更に構成されている、請求項２に記載のデバイス。
【請求項４】
前記１つ以上のプロセッサが、
正規化範囲を示す値を有する第４のシンタックス要素を、前記ニューラルネットワークポストフィルタ特性メッセージからパースする
ように更に構成されている、請求項３に記載のデバイス。
【請求項５】
前記１つ以上のプロセッサが、
前記ニューラルネットワークポストフィルタピクチャ補間プロセスへの入力が規格化されるかどうかを示す値を有する第５のシンタックス要素を、前記ニューラルネットワークポストフィルタ特性メッセージからパースする
ように更に構成されている、請求項４に記載のデバイス。
【請求項６】
前記デバイスは、ビデオ復号装置を含む、請求項２に記載のデバイス。
【請求項７】
１つ以上のプロセッサを備えるデバイスであって、前記１つ以上のプロセッサが、
ニューラルネットワークポストフィルタ特性メッセージをシグナリングし、
ニューラルネットワークポストフィルタピクチャ補間プロセスのための入力として使用される入力ピクチャの数を指定する第１のシンタックス要素を、前記ニューラルネットワークポストフィルタ特性メッセージにおいてシグナリングし、
前記ニューラルネットワークポストフィルタピクチャ補間プロセスに入力される前に入力ピクチャが連結される方式を指定する値を有する第２のシンタックス要素を、前記ニューラルネットワークポストフィルタ特性メッセージにおいてシグナリングする
ように構成されている、デバイス。
【請求項８】
前記デバイスは、ビデオ符号化装置を含む、請求項７に記載のデバイス。

発明の詳細な説明【技術分野】
【０００１】
本開示は、ビデオ符号化に関し、より詳細には、符号化されたビデオのためのニューラルネットワークポストフィルタパラメータ情報をシグナリングする技術に関する。
続きを表示（約 5,100 文字）【背景技術】
【０００２】
デジタルビデオ能力は、デジタルテレビ、ラップトップ又はデスクトップコンピュータ、タブレット型コンピュータ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、いわゆるスマートフォンを含むセルラー電話、医療用イメージングデバイスなどを含む、広範囲のデバイスに組み込むことができる。デジタルビデオは、ビデオ符号化規格に従って符号化することができる。ビデオ符号化規格は、符号化されたビデオデータをカプセル化する準拠ビットストリームのフォーマットを定義する。準拠ビットストリームは、復元されたビデオデータを生成するために、ビデオ復号デバイスによって受信及び復号され得るデータ構造である。ビデオ符号化規格は、ビデオ圧縮技術を組み込むことができる。ビデオ符号化規格の例としては、ＩＳＯ／ＩＥＣＭＰＥＧ－４Ｖｉｓｕａｌ及びＩＴＵ－ＴＨ．２６４（ＩＳＯ／ＩＥＣＭＰＥＧ－４ＡＶＣとしても公知である）並びにＨｉｇｈ－ＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ（ＨＥＶＣ）が挙げられる。ＨＥＶＣは、ＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ（ＨＥＶＣ），Ｒｅｃ．ＩＴＵ－ＴＨ．２６５（２０１６年１２月）に記載されており、参照により本明細書に組み込まれ、本明細書ではＩＴＵ－ＴＨ．２６５と称する。ＩＴＵ－ＴＨ．２６５に関する拡張及び改善が、次世代ビデオ符号化規格の開発のために考えられている。例えば、ＩＴＵ－ＴＶｉｄｅｏＣｏｄｉｎｇＥｘｐｅｒｔｓＧｒｏｕｐ（ＶＣＥＧ）及びＩＳＯ／ＩＥＣ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ（ＭＰＥＧ）（ＪｏｉｎｔＶｉｄｅｏＥｘｐｌｏｒａｔｉｏｎＴｅａｍ（ＪＶＥＴ）と集合的に呼ばれる）は、現在のＨＥＶＣ規格の圧縮能力を著しく上回る圧縮能力を有する規格化されたビデオ符号化技術を有する。ＴｈｅＪｏｉｎｔＥｘｐｌｏｒａｔｉｏｎＭｏｄｅｌ７（ＪＥＭ７），ＡｌｇｏｒｉｔｈｍＤｅｓｃｒｉｐｔｉｏｎｏｆＪｏｉｎｔＥｘｐｌｏｒａｔｉｏｎＴｅｓｔＭｏｄｅｌ７（ＪＥＭ７），ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１Ｄｏｃｕｍｅｎｔ：ビデオ符号化技術を、ＩＴＵ－ＴＨ．２６５の能力を超えて向上させる可能性を有するものとして、ＪＶＥＴによって協調的試験モデル研究中であった符号化特徴について、ＪＶＥＴ－Ｇ１００１，Ｊｕｌｙ２０１７，Ｔｏｒｉｎｏ，ＩＴが説明しており、それが参照により本明細書に組み込まれる。ＪＥＭ７の符号化特徴は、ＪＥＭ参照ソフトウェアで実施されることに留意されたい。本明細書で使用されるとき、ＪＥＭという用語は、ＪＥＭ７に含まれるアルゴリズム及びＪＥＭ参照ソフトウェアの実施を集合的に表し得る。更に、ＶＣＥＧ及びＭＰＥＧが共同で発行した「ＪｏｉｎｔＣａｌｌｆｏｒＰｒｏｐｏｓａｌｓｏｎＶｉｄｅｏＣｏｍｐｒｅｓｓｉｏｎｗｉｔｈＣａｐａｂｉｌｉｔｉｅｓｂｅｙｏｎｄＨＥＶＣ」に応答して、ビデオ符号化ツールに関する複数の説明が様々なグループによって、１０
ｔｈ
ＭｅｅｔｉｎｇｏｆＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１１６－２０Ａｐｒｉｌ２０１８，ＳａｎＤｉｅｇｏ，ＣＡにおいて提案された。ビデオ符号化ツールの複数の説明から得られたビデオ符号化仕様の初期のドラフトテキストが、「ＶｅｒｓａｔｉｌｅＶｉｄｅｏＣｏｄｉｎｇ（Ｄｒａｆｔ１）」，１０
ｔｈ
ＭｅｅｔｉｎｇｏｆＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１１６－２０Ａｐｒｉｌ２０１８，ＳａｎＤｉｅｇｏ，ＣＡ，ｄｏｃｕｍｅｎｔＪＶＥＴ－Ｊ１００１－ｖ２において説明され、これは参照により本明細書に組み込まれ、ＪＶＥＴ－Ｊ１００１として参照される。ＶＣＥＧ及びＭＰＥＧによるビデオ符号化規格のこの開発は、汎用ビデオ符号化（ＶＶＣ）プロジェクトと呼ばれる。「ＶｅｒｓａｔｉｌｅＶｉｄｅｏＣｏｄｉｎｇ（Ｄｒａｆｔ１０）」，２０ｔｈＭｅｅｔｉｎｇｏｆＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１７－１６Ｏｃｔｏｂｅｒ２０２０，Ｔｅｌｅｃｏｎｆｅｒｅｎｃｅ，ｄｏｃｕｍｅｎｔＪＶＥＴ－Ｔ２００１－ｖ２は、ＶＶＣプロジェクトに対応するビデオ符号化仕様のドラフトテキストの現在の反復を表し、これは参照により本明細書に組み込まれ、ＪＶＥＴ－Ｔ２００１として参照される。
【０００３】
ビデオ圧縮技術は、ビデオデータを記憶し送信するためのデータ要件を低減することを可能にする。ビデオ圧縮技術は、ビデオ系列における固有の冗長性を利用することにより、データ要件を低減することができる。ビデオ圧縮技術は、ビデオ系列を連続的により小さい部分（すなわち、ビデオ系列内のピクチャ群、ピクチャ群内のピクチャ、ピクチャ内の領域、領域内のサブ領域など）に再分割し得る。イントラ予測符号化技術（例えば、ピクチャ内の空間予測技術）及びインター予測技術（すなわち、ピクチャ間技術（時間））を使用して、符号化されるビデオデータのユニットとビデオデータの参照ユニットとの間の差分値を生成することができる。差分値は、残差データと呼ばれることがある。残差データは、量子化された変換係数として符号化することができる。シンタックス要素は、残差データと参照符号化ユニットを関連付けることができる（例えば、イントラ予測モードインデックス、及び動き情報）。残差データ及びシンタックス要素は、エントロピ符号化することができる。エントロピ符号化された残差データ及びシンタックス要素は、準拠ビットストリームを形成するデータ構造に含めることができる。
【発明の概要】
【０００４】
概して、本開示は、ビデオデータを符号化する様々な技術を説明する。特に、本開示は、符号化されたビデオデータのためのニューラルネットワークポストフィルタパラメータ情報をシグナリングする技術を説明する。本開示の技術は、ＩＴＵ－ＴＨ．２６４、ＩＴＵ－ＴＨ．２６５、ＪＥＭ、及びＪＶＥＴ－Ｔ２００１に関して説明されているが、本開示の技術は、ビデオ符号化に一般に適用可能であることに留意されたい。例えば、本明細書で説明する符号化技術は、ＩＴＵ－ＴＨ．２６５、ＪＥＭ、及びＪＶＥＴ－Ｔ２００１に含まれるもの以外のビデオブロック構造、イントラ予測技術、インター予測技術、変換技術、フィルタリング技術、及び／又はエントロピ符号化技術を含むビデオ符号化システム（将来のビデオ符号化規格に基づくビデオ符号化システムを含む）に組み込むことができる。したがって、ＩＴＵ－ＴＨ．２６４、ＩＴＵ－ＴＨ．２６５、ＪＥＭ、及び／又はＪＶＥＴ－Ｔ２００１の参照は、説明のためのものであり、本明細書で説明する技術の範囲を限定するように解釈すべきではない。更に、本明細書での文書の参照による組み込みは、説明のためのものであり、本明細書で使用される用語に関して限定する又は曖昧さを生むように解釈されるべきではないことに留意されたい。例えば、組み込まれた参照が、別の組み込まれた参照のものとは異なる用語の定義を与える場合、かつ／又はその用語が本明細書で使用されるような場合には、その用語は、それぞれの対応する定義を幅広く含むように、及び／又は代わりに特定の定義のそれぞれを含むように解釈されるべきである。
【０００５】
一例では、ビデオデータを符号化する方法は、ニューラルネットワークポストフィルタ特性メッセージをシグナリングすることと、ニューラルネットワークポストフィルタピクチャ補間プロセスのための入力として使用される入力ピクチャの数を指定する第１のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージにおいてシグナリングすることと、ニューラルネットワークポストフィルタピクチャ補間プロセスに入力される前に入力ピクチャが連結される方式を指定する値を有する第２のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージにおいてシグナリングすることと、を含む。
【０００６】
一例では、デバイスは、１つ以上のプロセッサを備え、１つ以上のプロセッサは、ニューラルネットワークポストフィルタ特性メッセージをシグナリングし、ニューラルネットワークポストフィルタピクチャ補間プロセスのための入力として使用される入力ピクチャの数を指定する第１のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージにおいてシグナリングし、ニューラルネットワークポストフィルタピクチャ補間プロセスに入力される前に入力ピクチャが連結される方式を指定する値を有する第２のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージにおいてシグナリングするように構成されている。
【０００７】
一例では、非一時的コンピュータ可読記憶媒体は、非一時的コンピュータ可読記憶媒体に記憶された命令を含み、命令が実行されたときに、デバイスの１つ以上のプロセッサに、ニューラルネットワークポストフィルタ特性メッセージをシグナリングさせ、ニューラルネットワークポストフィルタピクチャ補間プロセスのための入力として使用される入力ピクチャの数を指定する第１のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージにおいてシグナリングさせ、ニューラルネットワークポストフィルタピクチャ補間プロセスに入力される前に入力ピクチャが連結される方式を指定する値を有する第２のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージにおいてシグナリングさせる。
【０００８】
一例では、装置は、ニューラルネットワークポストフィルタピクチャ補間プロセスのための入力として使用される入力ピクチャの数を指定する第１のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージにおいてシグナリングするための手段と、ニューラルネットワークポストフィルタピクチャ補間プロセスに入力される前に入力ピクチャが連結される方式を指定する値を有する第２のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージにおいてシグナリングするための手段と、を備える。
【０００９】
一例では、ビデオデータを復号する方法は、ニューラルネットワークポストフィルタ特性メッセージを受信することと、ニューラルネットワークポストフィルタピクチャ補間プロセスのための入力として使用される入力ピクチャの数を指定する第１のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージからパースすることと、ニューラルネットワークポストフィルタピクチャ補間プロセスに入力される前に入力ピクチャが連結される方式を指定する値を有する第２のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージからパースすることと、第２のシンタックス要素の値に基づいて入力ピクチャを連結することと、を含む。
【００１０】
一例では、デバイスは、１つ以上のプロセッサを備え、１つ以上のプロセッサは、ニューラルネットワークポストフィルタ特性メッセージを受信し、ニューラルネットワークポストフィルタピクチャ補間プロセスのための入力として使用される入力ピクチャの数を指定する第１のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージからパースし、ニューラルネットワークポストフィルタピクチャ補間プロセスに入力される前に入力ピクチャが連結される方式を指定する値を有する第２のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージからパースし、第２のシンタックス要素の値に基づいて入力ピクチャを連結するように構成されている。
（【００１１】以降は省略されています）

関連特許