特許ウォッチ

公開番号2024055731
公報種別公開特許公報(A)
公開日2024-04-18
出願番号2023011152
出願日2023-01-27
発明の名称ビデオ符号化においてニューラルネットワークポストフィルタ情報更新をシグナリングするためのシステム及び方法
出願人シャープ株式会社
代理人個人,個人,個人,個人
主分類H04N 19/70 20140101AFI20240411BHJP(電気通信技術)
要約【課題】ビデオデータのためのニューラルネットワークポストループフィルタ情報を更新する方法及びデバイスを提供する。
【解決手段】方法は、ニューラルネットワークポストフィルタ特性メッセージを受信することと、後処理フィルタを識別する第1のシンタックス要素をパースし、後処理フィルタが、指定されたタグユニフォームリソース識別子(URI)及びニューラルネットワーク情報URIによって識別されるニューラルネットワークであることを指定する第2のシンタックス要素をパースし、フィルタ目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関連するシンタックス要素がニューラルネットワークポストフィルタ特性メッセージ中に存在しないことを指定する第3のシンタックス要素をパースし、第2のシンタックス要素及び第3のシンタックス要素に基づいて、ニューラルネットワーク更新の提供を判定する。
【選択図】なし
特許請求の範囲【請求項１】
ビデオデータのためのニューラルネットワークポストループフィルタ情報を更新する方法であって、
ニューラルネットワークポストフィルタ特性メッセージを受信することと、
後処理フィルタを識別するために使用される識別番号を有する第１のシンタックス要素を、前記ニューラルネットワークポストフィルタ特性メッセージからパースすることと、
前記識別番号に関連付けられた前記後処理フィルタが、指定されたタグユニフォームリソース識別子（ＵＲＩ）及びニューラルネットワーク情報ＵＲＩによって識別されるニューラルネットワークであることを指定する値を有する第２のシンタックス要素を、前記ニューラルネットワークポストフィルタ特性メッセージからパースすることと、
フィルタ目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関連するシンタックス要素が前記ニューラルネットワークポストフィルタ特性メッセージ中に存在しないことを指定する値を有する第３のシンタックス要素を、前記ニューラルネットワークポストフィルタ特性メッセージからパースすることと、
前記第２のシンタックス要素の前記値及び前記第３のシンタックス要素の前記値に基づいて、前記ニューラルネットワークポストフィルタ特性メッセージがニューラルネットワーク更新を提供すると判定することと、
を含む、方法。
続きを表示（約 1,700 文字）【請求項２】
１つ以上のプロセッサを備えるデバイスであって、前記１つ以上のプロセッサが、
ニューラルネットワークポストフィルタ特性メッセージを受信し、
後処理フィルタを識別するために使用される識別番号を有する第１のシンタックス要素を、前記ニューラルネットワークポストフィルタ特性メッセージからパースし、
前記識別番号に関連付けられた前記後処理フィルタが、指定されたタグユニフォームリソース識別子（ＵＲＩ）及びニューラルネットワーク情報ＵＲＩによって識別されるニューラルネットワークであることを指定する値を有する第２のシンタックス要素を、前記ニューラルネットワークポストフィルタ特性メッセージからパースし、
フィルタ目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関連するシンタックス要素が前記ニューラルネットワークポストフィルタ特性メッセージ中に存在しないことを指定する値を有する第３のシンタックス要素を、前記ニューラルネットワークポストフィルタ特性メッセージからパースし、
前記第２のシンタックス要素の前記値及び前記第３のシンタックス要素の前記値に基づいて、前記ニューラルネットワークポストフィルタ特性メッセージがニューラルネットワーク更新を提供すると判定する、
ように構成されている、デバイス。
【請求項３】
前記第２のシンタックス要素が、前記ニューラルネットワークポストフィルタ特性メッセージ中に含まれるデータのペイロードサイズを指定する第４のシンタックス要素を示す値を有し得る、請求項２に記載のデバイス。
【請求項４】
前記データが、ユーザデータ未登録補足エンハンスメントメッセージを含む、請求項３に記載のデバイス。
【請求項５】
前記データが、ユーザデータ登録補足エンハンスメントメッセージを含む、請求項３に記載のデバイス。
【請求項６】
前記１つ以上のプロセッサが、
ニューラルネットワークポストフィルタアクティブ化メッセージを受信し、
現在のピクチャに関係するニューラルネットワーク後処理フィルタ特性メッセージによって指定されたニューラルネットワーク後処理フィルタを指定する第４及び第５のシンタックス要素を、前記ニューラルネットワークポストフィルタアクティブ化メッセージからパースする、
ように更に構成されている、請求項２に記載のデバイス。
【請求項７】
前記デバイスが、ビデオ復号装置を含む、請求項２に記載のデバイス。
【請求項８】
１つ以上のプロセッサを備えるデバイスであって、前記１つ以上のプロセッサが、
ニューラルネットワークポストフィルタ特性メッセージをシグナリングし、
後処理フィルタを識別するために使用される識別番号を有する第１のシンタックス要素を、前記ニューラルネットワークポストフィルタ特性メッセージにおいてシグナリングし、
前記識別番号に関連付けられた前記後処理フィルタが、指定されたタグユニフォームリソース識別子（ＵＲＩ）及びニューラルネットワーク情報ＵＲＩによって識別されるニューラルネットワークであることを指定する値を有する第２のシンタックス要素を、前記ニューラルネットワークポストフィルタ特性メッセージにおいてシグナリングし、
フィルタ目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関連するシンタックス要素が前記ニューラルネットワークポストフィルタ特性メッセージ中に存在しないことを指定する値を有する第３のシンタックス要素を、前記ニューラルネットワークポストフィルタ特性メッセージにおいてシグナリングする
ように構成されており、
前記第２のシンタックス要素の前記値及び前記第３のシンタックス要素の前記値は、前記ニューラルネットワークポストフィルタ特性メッセージがニューラルネットワーク更新を提供することを示す、デバイス。
【請求項９】
前記デバイスが、ビデオ符号化装置を含む、請求項８に記載のデバイス。

発明の詳細な説明【技術分野】
【０００１】
本開示は、ビデオ符号化に関し、より詳細には、符号化されたビデオのためのニューラルネットワークポストフィルタパラメータ情報をシグナリングする技術に関する。
続きを表示（約 6,500 文字）【０００２】
背景技術
デジタルビデオ能力は、デジタルテレビ、ラップトップ又はデスクトップコンピュータ、タブレット型コンピュータ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、いわゆるスマートフォンを含むセルラー電話、医療用イメージングデバイスなどを含む、広範囲のデバイスに組み込むことができる。デジタルビデオは、ビデオ符号化規格に従って符号化することができる。ビデオ符号化規格は、符号化されたビデオデータをカプセル化する準拠ビットストリームのフォーマットを定義する。準拠ビットストリームは、復元されたビデオデータを生成するために、ビデオ復号デバイスによって受信及び復号され得るデータ構造である。ビデオ符号化規格は、ビデオ圧縮技術を組み込むことができる。ビデオ符号化規格の例としては、ＩＳＯ／ＩＥＣＭＰＥＧ－４Ｖｉｓｕａｌ及びＩＴＵ－ＴＨ．２６４（ＩＳＯ／ＩＥＣＭＰＥＧ－４ＡＶＣとしても公知である）並びにＨｉｇｈ－ＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ（ＨＥＶＣ）が挙げられる。ＨＥＶＣは、ＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ（ＨＥＶＣ），Ｒｅｃ．ＩＴＵ－ＴＨ．２６５（２０１６年１２月）に記載されており、参照により本明細書に組み込まれ、本明細書ではＩＴＵ－ＴＨ．２６５と称する。ＩＴＵ－ＴＨ．２６５に関する拡張及び改善が、次世代ビデオ符号化規格の開発のために考えられている。例えば、ＩＴＵ－ＴＶｉｄｅｏＣｏｄｉｎｇＥｘｐｅｒｔｓＧｒｏｕｐ（ＶＣＥＧ）及びＩＳＯ／ＩＥＣ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ（ＭＰＥＧ）（ＪｏｉｎｔＶｉｄｅｏＥｘｐｌｏｒａｔｉｏｎＴｅａｍ（ＪＶＥＴ）と集合的に呼ばれる）は、現在のＨＥＶＣ規格の圧縮能力を著しく上回る圧縮能力を有する規格化されたビデオ符号化技術を有する。ＴｈｅＪｏｉｎｔＥｘｐｌｏｒａｔｉｏｎＭｏｄｅｌ７（ＪＥＭ７），ＡｌｇｏｒｉｔｈｍＤｅｓｃｒｉｐｔｉｏｎｏｆＪｏｉｎｔＥｘｐｌｏｒａｔｉｏｎＴｅｓｔＭｏｄｅｌ７（ＪＥＭ７），ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１Ｄｏｃｕｍｅｎｔ：ビデオ符号化技術を、ＩＴＵ－ＴＨ．２６５の能力を超えて向上させる可能性を有するものとして、ＪＶＥＴによって協調的試験モデル研究中であった符号化特徴について、ＪＶＥＴ－Ｇ１００１，Ｊｕｌｙ２０１７，Ｔｏｒｉｎｏ，ＩＴが説明しており、それが参照により本明細書に組み込まれる。ＪＥＭ７の符号化特徴は、ＪＥＭ参照ソフトウェアで実施されることに留意されたい。本明細書で使用されるとき、ＪＥＭという用語は、ＪＥＭ７に含まれるアルゴリズム及びＪＥＭ参照ソフトウェアの実施を集合的に表し得る。更に、ＶＣＥＧ及びＭＰＥＧが共同で発行した「ＪｏｉｎｔＣａｌｌｆｏｒＰｒｏｐｏｓａｌｓｏｎＶｉｄｅｏＣｏｍｐｒｅｓｓｉｏｎｗｉｔｈＣａｐａｂｉｌｉｔｉｅｓｂｅｙｏｎｄＨＥＶＣ」に応答して、ビデオ符号化ツールに関する複数の説明が様々なグループによって、１０
ｔｈ
ＭｅｅｔｉｎｇｏｆＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１１６－２０Ａｐｒｉｌ２０１８，ＳａｎＤｉｅｇｏ，ＣＡにおいて提案された。ビデオ符号化ツールの複数の説明から得られたビデオ符号化仕様の初期のドラフトテキストが、「ＶｅｒｓａｔｉｌｅＶｉｄｅｏＣｏｄｉｎｇ（Ｄｒａｆｔ１）」，１０
ｔｈ
ＭｅｅｔｉｎｇｏｆＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１１６－２０Ａｐｒｉｌ２０１８，ＳａｎＤｉｅｇｏ，ＣＡ，ｄｏｃｕｍｅｎｔＪＶＥＴ－Ｊ１００１－ｖ２において説明され、これは参照により本明細書に組み込まれ、ＪＶＥＴ－Ｊ１００１として参照される。ＶＣＥＧ及びＭＰＥＧによるビデオ符号化規格のこの開発は、汎用ビデオ符号化（ＶＶＣ）プロジェクトと呼ばれる。「ＶｅｒｓａｔｉｌｅＶｉｄｅｏＣｏｄｉｎｇ（Ｄｒａｆｔ１０）」，２０ｔｈＭｅｅｔｉｎｇｏｆＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１７－１６Ｏｃｔｏｂｅｒ２０２０，Ｔｅｌｅｃｏｎｆｅｒｅｎｃｅ，ｄｏｃｕｍｅｎｔＪＶＥＴ－Ｔ２００１－ｖ２は、ＶＶＣプロジェクトに対応するビデオ符号化仕様のドラフトテキストの現在の反復を表し、これは参照により本明細書に組み込まれ、ＪＶＥＴ－Ｔ２００１として参照される。
【０００３】
ビデオ圧縮技術は、ビデオデータを記憶し送信するためのデータ要件を低減することを可能にする。ビデオ圧縮技術は、ビデオ系列における固有の冗長性を利用することにより、データ要件を低減することができる。ビデオ圧縮技術は、ビデオ系列を連続的により小さい部分（すなわち、ビデオ系列内のピクチャ群、ピクチャ群内のピクチャ、ピクチャ内の領域、領域内のサブ領域など）に再分割し得る。イントラ予測符号化技術（例えば、ピクチャ内の空間予測技術）及びインター予測技術（すなわち、ピクチャ間技術（時間））を使用して、符号化されるビデオデータのユニットとビデオデータの参照ユニットとの間の差分値を生成することができる。差分値は、残差データと呼ばれることがある。残差データは、量子化された変換係数として符号化することができる。シンタックス要素は、残差データと参照符号化ユニットを関連付けることができる（例えば、イントラ予測モードインデックス、及び動き情報）。残差データ及びシンタックス要素は、エントロピ符号化することができる。エントロピ符号化された残差データ及びシンタックス要素は、準拠ビットストリームを形成するデータ構造に含めることができる。
【発明の概要】
【０００４】
概して、本開示は、ビデオデータを符号化する様々な技術を説明する。特に、本開示は、符号化されたビデオデータのためのニューラルネットワークポストフィルタパラメータ情報をシグナリングする技術を説明する。本開示の技術は、ＩＴＵ－ＴＨ．２６４、ＩＴＵ－ＴＨ．２６５、ＪＥＭ、及びＪＶＥＴ－Ｔ２００１に関して説明されているが、本開示の技術は、ビデオ符号化に一般に適用可能であることに留意されたい。例えば、本明細書で説明する符号化技術は、ＩＴＵ－ＴＨ．２６５、ＪＥＭ、及びＪＶＥＴ－Ｔ２００１に含まれるもの以外のビデオブロック構造、イントラ予測技術、インター予測技術、変換技術、フィルタリング技術、及び／又はエントロピ符号化技術を含むビデオ符号化システム（将来のビデオ符号化規格に基づくビデオ符号化システムを含む）に組み込むことができる。したがって、ＩＴＵ－ＴＨ．２６４、ＩＴＵ－ＴＨ．２６５、ＪＥＭ、及び／又はＪＶＥＴ－Ｔ２００１の参照は、説明のためのものであり、本明細書で説明する技術の範囲を限定するように解釈すべきではない。更に、本明細書での文書の参照による組み込みは、説明のためのものであり、本明細書で使用される用語に関して限定する又は曖昧さを生むように解釈されるべきではないことに留意されたい。例えば、組み込まれた参照が、別の組み込まれた参照のものとは異なる用語の定義を与える場合、かつ／又はその用語が本明細書で使用されるような場合には、その用語は、それぞれの対応する定義を幅広く含むように、及び／又は代わりに特定の定義のそれぞれを含むように解釈されるべきである。
【０００５】
一例では、ビデオデータを符号化する方法は、ニューラルネットワークポストフィルタ特性メッセージをシグナリングすることと、後処理フィルタを識別するために使用される識別番号を有する第１のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージにおいてシグナリングすることと、識別番号に関連付けられた後処理フィルタが、指定されたタグユニフォームリソース識別子（ＵＲＩ）及びニューラルネットワーク情報ＵＲＩによって識別されるニューラルネットワークであることを指定する値を有する第２のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージにおいてシグナリングすることと、フィルタ目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関連するシンタックス要素がニューラルネットワークポストフィルタ特性メッセージ中に存在しないことを指定する値を有する第３のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージにおいてシグナリングすることとを含み、第２のシンタックス要素の値及び第３のシンタックス要素の値は、ニューラルネットワークポストフィルタ特性メッセージがニューラルネットワーク更新を提供することを示す。
【０００６】
一例では、デバイスは１つ以上のプロセッサを備え、１つ以上のプロセッサが、ニューラルネットワークポストフィルタ特性メッセージをシグナリングし、後処理フィルタを識別するために使用される識別番号を有する第１のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージにおいてシグナリングし、識別番号に関連付けられた後処理フィルタが、指定されたタグユニフォームリソース識別子（ＵＲＩ）及びニューラルネットワーク情報ＵＲＩによって識別されるニューラルネットワークであることを指定する値を有する第２のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージにおいてシグナリングし、フィルタ目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関連するシンタックス要素がニューラルネットワークポストフィルタ特性メッセージ中に存在しないことを指定する値を有する第３のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージにおいてシグナリングするように構成されており、第２のシンタックス要素の値及び第３のシンタックス要素の値は、ニューラルネットワークポストフィルタ特性メッセージがニューラルネットワーク更新を提供することを示す。
【０００７】
一例では、非一時的コンピュータ可読記憶媒体は、非一時的コンピュータ可読記憶媒体に記憶された命令であって、実行されたときに、デバイスの１つ以上のプロセッサに、ニューラルネットワークポストフィルタ特性メッセージをシグナリングさせ、後処理フィルタを識別するために使用される識別番号を有する第１のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージにおいてシグナリングさせ、識別番号に関連付けられた後処理フィルタが、指定されたタグユニフォームリソース識別子（ＵＲＩ）及びニューラルネットワーク情報ＵＲＩによって識別されるニューラルネットワークであることを指定する値を有する第２のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージにおいてシグナリングさせ、フィルタ目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関連するシンタックス要素がニューラルネットワークポストフィルタ特性メッセージ中に存在しないことを指定する値を有する第３のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージにおいてシグナリングさせる命令を含み、第２のシンタックス要素の値及び第３のシンタックス要素の値は、ニューラルネットワークポストフィルタ特性メッセージがニューラルネットワーク更新を提供することを示す。
【０００８】
一例では、装置は、ニューラルネットワークポストフィルタ特性メッセージをシグナリングするための手段と、後処理フィルタを識別するために使用される識別番号を有する第１のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージにおいてシグナリングするための手段と、識別番号に関連付けられた後処理フィルタが、指定されたタグユニフォームリソース識別子（ＵＲＩ）及びニューラルネットワーク情報ＵＲＩによって識別されるニューラルネットワークであることを指定する値を有する第２のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージにおいてシグナリングするための手段と、フィルタ目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関連するシンタックス要素がニューラルネットワークポストフィルタ特性メッセージ中に存在しないことを指定する値を有する第３のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージにおいてシグナリングするための手段とを備え、第２のシンタックス要素の値及び第３のシンタックス要素の値は、ニューラルネットワークポストフィルタ特性メッセージがニューラルネットワーク更新を提供することを示す。
【０００９】
一例では、ビデオデータを復号する方法は、ニューラルネットワークポストフィルタ特性メッセージを受信することと、後処理フィルタを識別するために使用される識別番号を有する第１のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージからパースすることと、識別番号に関連付けられた後処理フィルタが、指定されたタグユニフォームリソース識別子（ＵＲＩ）及びニューラルネットワーク情報ＵＲＩによって識別されるニューラルネットワークであることを指定する値を有する第２のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージからパースすることと、フィルタ目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関連するシンタックス要素がニューラルネットワークポストフィルタ特性メッセージ中に存在しないことを指定する値を有する第３のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージからパースすることと、第２のシンタックス要素の値及び第３のシンタックス要素の値に基づいて、ニューラルネットワークポストフィルタ特性メッセージがニューラルネットワーク更新を提供すると判定することとを含む。
【００１０】
一例では、デバイスは１つ以上のプロセッサを備え、１つ以上のプロセッサがニューラルネットワークポストフィルタ特性メッセージを受信し、後処理フィルタを識別するために使用される識別番号を有する第１のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージからパースし、識別番号に関連付けられた後処理フィルタが、指定されたタグユニフォームリソース識別子（ＵＲＩ）及びニューラルネットワーク情報ＵＲＩによって識別されるニューラルネットワークであることを指定する値を有する第２のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージからパースし、フィルタ目的、入力フォーマッティング、出力フォーマッティング、及び複雑さに関連するシンタックス要素がニューラルネットワークポストフィルタ特性メッセージ中に存在しないことを指定する値を有する第３のシンタックス要素を、ニューラルネットワークポストフィルタ特性メッセージからパースし、第２のシンタックス要素の値及び第３のシンタックス要素の値に基づいて、ニューラルネットワークポストフィルタ特性メッセージがニューラルネットワーク更新を提供すると判定するように構成されている。
（【００１１】以降は省略されています）

関連特許