特許ウォッチ

公開番号2025066740
公報種別公開特許公報(A)
公開日2025-04-23
出願番号2025002891,2023543103
出願日2025-01-08,2022-01-19
発明の名称スケーラブルな符号化及び復号方法及び装置
出願人華為技術有限公司,HUAWEI TECHNOLOGIES CO.,LTD.
代理人弁理士法人ITOH
主分類H04N 19/90 20140101AFI20250416BHJP(電気通信技術)
要約【課題】人工知能(AI)ベースのビデオ又はピクチャ圧縮技術の分野に関し、スケーラブルな符号化及び復号方法及び装置を提供する。
【解決手段】符号化方法は、ビデオ信号の第1信号成分の制御信号を第1信号成分の第1特徴マップに適用して、第1信号成分の第2特徴マップを取得するステップであり、第1信号成分の制御信号は学習を通じて取得されるステップと、ビデオ信号の第2信号成分の制御信号を第2信号成分の第1特徴マップに適用して、第2信号成分の第2特徴マップを取得するステップであり、第2信号成分の制御信号は学習を通じて取得されるステップと、第1信号成分の第2特徴マップと第2信号成分の第2特徴マップとに基づいて、ビデオ信号のビットストリームを取得するステップと、を含む。この出願は、異なる色特性を持つピクチャコンテンツに適応することができる。
【選択図】図7B
特許請求の範囲【請求項１】
ビデオ信号符号化方法であって、
ビデオ信号の第１信号成分の品質係数情報及び前記ビデオ信号の第２信号成分の品質係数情報をビットストリームに符号化するステップと、
前記第１信号成分の前記品質係数情報に基づいて前記第１信号成分の制御信号を取得するステップと、
前記第２信号成分の前記品質係数情報に基づいて前記第２信号成分の制御信号を取得するステップと、
前記第１信号成分の前記制御信号を前記第１信号成分の第１特徴マップに適用して、前記第１信号成分の第２特徴マップを取得するステップと、
前記第２信号成分の前記制御信号を前記第２信号成分の第１特徴マップに適用して、前記第２信号成分の第２特徴マップを取得するステップと、
前記第１信号成分の前記第２特徴マップ及び前記第２信号成分の前記第２特徴マップを前記ビットストリームに符号化するステップと、
を有する方法。
続きを表示（約 3,000 文字）【請求項２】
当該方法は更に、
前記第１信号成分の前記品質係数情報に基づいて、Ｎ個の候補第１制御信号から前記第１信号成分の前記制御信号を取得するステップであり、Ｎは１より大きい整数である、ステップと、
前記第２信号成分の前記品質係数情報に基づいて、Ｍ個の候補第２制御信号から前記第２信号成分の前記制御信号を取得するステップであり、Ｍは１より大きい整数である、ステップと、
を有する、請求項１に記載の方法。
【請求項３】
前記第１信号成分の前記第２特徴マップ及び前記第２信号成分の前記第２特徴マップを前記ビットストリームに前記符号化するステップは、
前記第１信号成分の前記第２特徴マップと、前記第２信号成分の前記第２特徴マップと、に対してエントロピー符号化を実行して、前記ビデオ信号の前記ビットストリームを取得すること、
前記第１信号成分の前記第２特徴マップと、ニューラルネットワークによって処理された前記第２信号成分の前記第２特徴マップと、に対してエントロピー符号化を実行して、前記ビデオ信号の前記ビットストリームを取得すること、
ニューラルネットワークによって処理された前記第１信号成分の前記第２特徴マップと、前記第２信号成分の前記第２特徴マップと、に対してエントロピー符号化を実行して、前記ビデオ信号の前記ビットストリームを取得すること、又は
ニューラルネットワークによって処理された前記第１信号成分の前記第２特徴マップと、ニューラルネットワークによって処理された前記第２信号成分の前記第２特徴マップと、に対してエントロピー符号化を実行して、前記ビデオ信号の前記ビットストリームを取得すること、
を有する、請求項１又は２に記載の方法。
【請求項４】
前記第１信号成分の前記第２特徴マップ及び前記第２信号成分の前記第２特徴マップを前記符号化するステップは、
前記第１信号成分の前記第２特徴マップと、前記第２信号成分の前記第２特徴マップと、に対してジョイント処理を実行して、ジョイント特徴マップを取得し、該ジョイント特徴マップに対してエントロピー符号化を実行して、前記ビデオ信号の前記ビットストリームを取得すること、
前記第１信号成分の前記第２特徴マップと、ニューラルネットワークによって処理された前記第２信号成分の前記第２特徴マップと、に対してジョイント処理を実行して、ジョイント特徴マップを取得し、該ジョイント特徴マップに対してエントロピー符号化を実行して、前記ビデオ信号の前記ビットストリームを取得すること、
ニューラルネットワークによって処理された前記第１信号成分の前記第２特徴マップと、前記第２信号成分の前記第２特徴マップと、に対してジョイント処理を実行して、ジョイント特徴マップを取得し、該ジョイント特徴マップに対してエントロピー符号化を実行して、前記ビデオ信号の前記ビットストリームを取得すること、又は
ニューラルネットワークによって処理された前記第１信号成分の前記第２特徴マップと、ニューラルネットワークによって処理された前記第２信号成分の前記第２特徴マップと、に対してジョイント処理を実行して、ジョイント特徴マップを取得し、該ジョイント特徴マップに対してエントロピー符号化を実行して、前記ビデオ信号の前記ビットストリームを取得すること、
を有する、請求項１又は２に記載の方法。
【請求項５】
前記第１信号成分はＹ成分であり、前記第２信号成分はＵＶ成分である、請求項１乃至４のいずれか一項に記載の方法。
【請求項６】
前記第２信号成分が前記ＵＶ成分である場合、当該方法は、
学習を通じて、前記Ｙ成分の制御信号行列｛ｑ
ｙ１
，ｑ
ｙ２
，…，ｑ
ｙｉ
，…，ｑ
ｙＮ
｝と、前記ＵＶ成分の制御信号行列｛ｑ
ｕｖ１
，ｑ
ｕｖ２
，…，ｑ
ｕｖｊ
，…，ｑ
ｕｖＭ
｝とを生成するステップであり、Ｎ及びＭは１より大きい整数である、ステップと、
前記Ｙ成分の品質係数情報のインデックスｉに基づいて、前記第１信号成分の制御信号ｑ
ｙｉ
を取得するステップと、
前記ＵＶ成分の品質係数情報のインデックスｊに基づいて、前記第２信号成分の制御信号ｑ
ｕｖｊ
を取得するステップと、
を有する、請求項５に記載の方法。
【請求項７】
前記ビデオ信号の前記ビットストリームは、前記Ｙ成分の前記品質係数の前記インデックスｉ及び前記ＵＶ成分の前記品質係数の前記インデックスｊを含む、請求項６に記載の方法。
【請求項８】
前記第２信号成分が前記ＵＶ成分である場合、当該方法は、
前記Ｙ成分の品質係数を全結合型ネットワークへの入力として使用し、前記Ｙ成分の制御信号を出力するステップと、
前記ＵＶ成分の品質係数を前記全結合型ネットワークへの入力として使用し、前記ＵＶ成分の制御信号を出力するステップと、
を有する、請求項５に記載の方法。
【請求項９】
前記制御信号が制御ベクトルを有する場合、前記第１信号成分の前記制御信号を前記第１信号成分の第１特徴マップに適用して、前記第１信号成分の第２特徴マップを前記取得するステップは、
前記第１信号成分の制御ベクトルに前記第１信号成分の前記第１特徴マップを乗算して、前記第１信号成分の前記第２特徴マップを取得すること、
を有し、
前記第２信号成分の前記制御信号を前記第２信号成分の第１特徴マップに適用して、前記第２信号成分の第２特徴マップを前記取得するステップは、
前記第２信号成分の制御ベクトルに前記第１信号成分の前記第２特徴マップを乗算して、前記第２信号成分の前記第２特徴マップを取得すること、
を有する、請求項１乃至８のいずれか一項に記載の方法。
【請求項１０】
前記制御信号が制御ベクトルとオフセットベクトルとを有する場合、前記第１信号成分の前記制御信号を前記第１信号成分の第１特徴マップに適用して、前記第１信号成分の第２特徴マップを前記取得するステップは、
前記第１信号成分の制御ベクトルに前記第１信号成分の前記第１特徴マップを乗算し、次いで、前記第１信号成分のオフセットベクトルを加算して、前記第１信号成分の前記第２特徴マップを取得すること、
を有し、
前記第２信号成分の前記制御信号を前記第２信号成分の第１特徴マップに適用して、前記第２信号成分の第２特徴マップを前記取得するステップは、
前記第２信号成分の制御ベクトルに前記第１信号成分の前記第２特徴マップを乗算し、次いで、前記第２信号成分のオフセットベクトルを加算して、前記第２信号成分の前記第２特徴マップを取得すること、
を有する、請求項１乃至８のいずれか一項に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、人工知能（ＡＩ）ベースのビデオ又はピクチャ圧縮技術の分野に関し、特に、スケーラブルな符号化及び復号方法及び装置に関する。
続きを表示（約 3,000 文字）【背景技術】
【０００２】
ビデオ圧縮符号化及び復号技術は、例えば、放送デジタルテレビジョン、インターネット及びモバイルネットワーク上でのビデオ伝送、例えばビデオチャット及びビデオ会議などのリアルタイム会話アプリケーション、ＤＶＤ及びＢｌｕ－ｒａｙディスク、ビデオコンテンツ収集・編集システム、並びにセキュリティ用途のビデオカメラといった、マルチメディアサービス、放送、ビデオ通信、ストレージ、及びこれらに類するものの分野において広く使用されている。
【０００３】
短い映像であってもそれを描写するために大量のビデオデータが必要とされる。これは、限られた帯域幅容量を持つネットワーク上でデータがストリーミングされる又はその他の方法で通信されるときに困難をもたらし得る。従って、ビデオデータは一般に、今日の遠隔通信ネットワーク上で通信される前に圧縮される。ビデオのサイズはまた、メモリリソースが限られ得るために、ビデオがストレージ装置に格納されるときにも懸念となり得る。ビデオ圧縮装置は、しばしば、伝送又は記憶に先立って、ソースにてソフトウェア及び／又はハードウェアを用いてビデオデータを符号化して、デジタルビデオピクチャを表すのに必要なデータの量を減少させる。そして、圧縮されたデータが、送り先でビデオ解凍装置によって受信される。限られたネットワークリソースと、増加の一途をたどるいっそう高いビデオ品質の要求とに伴い、ピクチャ品質の犠牲を殆ど乃至は全く伴わずに圧縮比を向上させるために、圧縮及び解凍技術を改善する必要がある。
【０００４】
近年、エンドツーエンドピクチャ符号化及び復号技術の分野にディープラーニングを適用することが徐々にトレンドとなっている。ハイブリッドアーキテクチャを使用するビデオエンコーダ及びビデオデコーダでは、特徴マップに対してエントロピー符号化が実行されるときに、特徴値がゼロ平均ガウス分布を満たすと仮定され、超事前分布（hyperprior）構造を用いることによってガウス分布の分散を推定して、特徴値の確率分布モデルを取得し、そして、算術符号化モジュールが、推定された確率分布に基づいて、特徴マップに対してエントロピー符号化を実行する。デコーダサイドが特徴マップの確率分布を正確に推定することを可能にするために、超事前分布構造内のモジュールが、推定された確率分布の隠れ変数を抽出し、該隠れ変数が、量子化及び算術符号化を通じて副次的な情報として、デコーダサイドに伝達される。このメカニズムにおいて、ＹＵＶフォーマットの入力ピクチャでは、Ｙ、Ｕ、及びＶ成分のビットレートの比が固定されている。しかしながら、ピクチャはコンテンツにおいて異なる色特性を持つので、Ｙ、Ｕ、及びＶ成分のビットレートの固定された比は、符号化されたピクチャにおいて大きな歪みを生じさせる。
【発明の概要】
【０００５】
この出願は、異なる色特性を持つピクチャコンテンツに適応するためのスケーラブルな符号化及び復号方法及び装置を提供する。
【０００６】
この出願において、スケーラブルな符号化及び復号は、ビデオ信号が第１信号成分及び第２信号成分に分割されること、又はビデオ信号が第１信号成分、第２信号成分、及び第３信号成分に分割されることを示す。第１信号成分はＹ成分であり、第２信号成分はＵＶ成分、Ｕ成分、又はＶ成分である。第２信号成分がＵ成分である場合、第３信号成分はＶ成分である。代わりに、第２信号成分がＶ成分である場合、第３信号成分はＵ成分である。
【０００７】
第１態様によれば、この出願は符号化方法を提供する。当該符号化方法は、ビデオ信号の第１信号成分の制御信号を第１信号成分の第１特徴マップに適用して、第１信号成分の第２特徴マップを取得し、第１信号成分の制御信号は学習を通じて取得され、ビデオ信号の第２信号成分の制御信号を第２信号成分の第１特徴マップに適用して、第２信号成分の第２特徴マップを取得し、第２信号成分の制御信号は学習を通じて取得され、第１信号成分の第２特徴マップと第２信号成分の第２特徴マップとに基づいて、ビデオ信号のビットストリームを取得する、ことを含む。
【０００８】
取り得る一実装において、第１信号成分の第２特徴マップと第２信号成分の第２特徴マップとに基づいて、ビデオ信号のビットストリームを取得することは、第１信号成分の第２特徴マップと、第２信号成分の第２特徴マップとに対して、第１信号成分の第２特徴マップと、ニューラルネットワークによって処理された第２信号成分の第２特徴マップとに対して、ニューラルネットワークによって処理された第１信号成分の第２特徴マップと、第２信号成分の第２特徴マップとに対して、又は、ニューラルネットワークによって処理された第１信号成分の第２特徴マップと、ニューラルネットワークによって処理された第２信号成分の第２特徴マップとに対して、エントロピー符号化を実行して、ビデオ信号のビットストリームを取得すること、を含む。
【０００９】
取り得る一実装において、第１信号成分の第２特徴マップと第２信号成分の第２特徴マップとに基づいて、ビデオ信号のビットストリームを取得することは、第１信号成分の第２特徴マップと、第２信号成分の第２特徴マップと、に対してジョイント処理を実行して、ジョイント特徴マップを取得し、該ジョイント特徴マップに対してエントロピー符号化を実行して、ビデオ信号のビットストリームを取得すること、第１信号成分の第２特徴マップと、ニューラルネットワークによって処理された第２信号成分の第２特徴マップと、に対してジョイント処理を実行して、ジョイント特徴マップを取得し、該ジョイント特徴マップに対してエントロピー符号化を実行して、ビデオ信号のビットストリームを取得すること、ニューラルネットワークによって処理された第１信号成分の第２特徴マップと、第２信号成分の第２特徴マップと、に対してジョイント処理を実行して、ジョイント特徴マップを取得し、該ジョイント特徴マップに対してエントロピー符号化を実行して、ビデオ信号のビットストリームを取得すること、又は、ニューラルネットワークによって処理された第１信号成分の第２特徴マップと、ニューラルネットワークによって処理された第２信号成分の第２特徴マップと、に対してジョイント処理を実行して、ジョイント特徴マップを取得し、該ジョイント特徴マップに対してエントロピー符号化を実行して、ビデオ信号のビットストリームを取得すること、を含む。
【００１０】
取り得る一実装において、当該方法は、第１信号成分の品質係数に基づいて、Ｎ個の候補第１制御信号から第１信号成分の制御信号を取得し、Ｎは１より大きい整数であり、第２信号成分の品質係数に基づいて、Ｍ個の候補第２制御信号から第２信号成分の制御信号を取得し、Ｍは１より大きい整数である、ことを含む。ＮとＭは等しくてもよいし、等しくなくてもよい。これはこの出願において限定されることではない。
（【００１１】以降は省略されています）

関連特許