特許ウォッチ

公開番号2025050169
公報種別公開特許公報(A)
公開日2025-04-04
出願番号2023158816
出願日2023-09-22
発明の名称参照画像キャッシュメモリ、プリフェッチ用データ要求方法、及びプリフェッチ用データ要求プログラム
出願人日本電信電話株式会社,国立大学法人東北大学
代理人弁理士法人太陽国際特許事務所
主分類H04N 19/433 20140101AFI20250327BHJP(電気通信技術)
要約【課題】キャッシュヒット率の向上及びデータ転送量の削減を両立する。
【解決手段】参照画像キャッシュメモリは、キャッシュメモリ部から読み出された画像データの符号化処理においてキャッシュミスが発生した場合に、前記キャッシュメモリ部に格納されている画像データの一部を外部メモリに保存されている画像データと置き換える参照画像キャッシュメモリであって、符号化対象ブロックの近傍領域のうち符号化済みの近傍領域で検出された動きベクトルに基づいて、前記符号化処理が進行する第1方向と直交する第2方向における新規プリフェッチ領域の範囲を決定し、決定した新規プリフェッチ領域の画像データを前記外部メモリに要求するプリフェッチ用データ要求部、を備える。
【選択図】図12
特許請求の範囲【請求項１】
キャッシュメモリ部から読み出された画像データの符号化処理においてキャッシュミスが発生した場合に、前記キャッシュメモリ部に格納されている画像データの一部を外部メモリに保存されている画像データと置き換える参照画像キャッシュメモリであって、
符号化対象ブロックの近傍領域のうち符号化済みの近傍領域で検出された動きベクトルに基づいて、前記符号化処理が進行する第１方向と直交する第２方向における新規プリフェッチ領域の範囲を決定し、決定した新規プリフェッチ領域の画像データを前記外部メモリに要求するプリフェッチ用データ要求部、
を備えた参照画像キャッシュメモリ。
続きを表示（約 1,200 文字）【請求項２】
前記近傍領域は、複数の符号化ブロックを含み、
前記プリフェッチ用データ要求部は、前記複数の符号化ブロックの各々で検出された動きベクトルの全てを包含する範囲を前記新規プリフェッチ領域として決定する、
請求項１記載の参照画像キャッシュメモリ。
【請求項３】
前記プリフェッチ用データ要求部は、前記複数の符号化ブロックの各々で検出された動きベクトルの全てを包含し、かつ、最小の範囲を前記新規プリフェッチ領域として決定する、
請求項２記載の参照画像キャッシュメモリ。
【請求項４】
前記プリフェッチ用データ要求部は、前記最小の範囲に対して前記第２方向にマージンを加えた領域を前記新規プリフェッチ領域として決定する、
請求項３記載の参照画像キャッシュメモリ。
【請求項５】
前記近傍領域は、複数の符号化ブロックを含み、
前記プリフェッチ用データ要求部は、前記複数の符号化ブロックの各々で検出された動きベクトルのうち、正の前記第２方向における最大の動きベクトル及び負の前記第２方向における最大の動きベクトルを除いた動きベクトルの全てを包含する範囲を前記新規プリフェッチ領域として決定する、
請求項１記載の参照画像キャッシュメモリ。
【請求項６】
キャッシュメモリ部から読み出された画像データの符号化処理においてキャッシュミスが発生した場合に、前記キャッシュメモリ部に格納されている画像データの一部を外部メモリに保存されている画像データと置き換える参照画像キャッシュメモリにおけるプリフェッチ用データ要求方法であって、
コンピュータが、
符号化対象ブロックの近傍領域のうち符号化済みの近傍領域で検出された動きベクトルに基づいて、前記符号化処理が進行する第１方向と直交する第２方向における新規プリフェッチ領域の範囲を決定し、決定した新規プリフェッチ領域の画像データを前記外部メモリに要求する、
ことを含む処理を実行するプリフェッチ用データ要求方法。
【請求項７】
キャッシュメモリ部から読み出された画像データの符号化処理においてキャッシュミスが発生した場合に、前記キャッシュメモリ部に格納されている画像データの一部を外部メモリに保存されている画像データと置き換える参照画像キャッシュメモリにおけるプリフェッチ用データ要求プログラムであって、
コンピュータに、
符号化対象ブロックの近傍領域のうち符号化済みの近傍領域で検出された動きベクトルに基づいて、前記符号化処理が進行する第１方向と直交する第２方向における新規プリフェッチ領域の範囲を決定し、決定した新規プリフェッチ領域の画像データを前記外部メモリに要求する、
を含む処理を実行させるプリフェッチ用データ要求プログラム。

発明の詳細な説明【技術分野】
【０００１】
開示の技術は、参照画像キャッシュメモリ、プリフェッチ用データ要求方法、及びプリフェッチ用データ要求プログラムに関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
映像符号化の技術には、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）－２、ＭＰＥＧ－４、ＭＰＥＧ－４／ＡＶＣ、ＨＥＶＣ（ＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ）等の映像符号化方式が多く用いられている。最近では、最新の映像符号化規格であるＶＶＣ（ＶｅｒｓａｔｉｌｅＶｉｄｅｏＣｏｄｉｎｇ）の普及が広がっている。ＶＶＣは、従来の符号化方式であるＨＥＶＣの約２倍の符号化効率を達成する。符号化効率の向上に伴い、４Ｋ（３８４０画素×２１６０ライン）・８Ｋ（７６８０画素×４３２０ライン）といった空間解像度の高い映像についても符号化処理として扱われるようになっている。
【０００３】
ＶＶＣ、ＨＥＶＣ等の符号化規格では、別フレームとの動きを探索・推定し、補償するフレーム間符号化を行うことで、符号化効率向上を図っている。フレーム間符号化では、入力画像と参照画像（特定フレームの符号化済画像）との間で、画素単位での差分累積値等が最も小さくなる座標を探索モジュールにおいて探索して動きベクトルを決定する。映像符号化装置では、決定された動きベクトルに従って、動きベクトル先の参照画像を用いて現符号化対象ブロックの画像を生成する動き補償処理を実行する。
【０００４】
動き探索処理や動き補償処理で必要となる参照画像は、過去の符号化済画像群であるため全データサイズが非常に大きい。このため、映像符号化用ＬＳＩ（Ｌａｒｇｅ－ＳｃａｌｅＩｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔ；大規模集積回路）の場合、ＬＳＩの内部に全ての参照画像データを格納することはできず、外部のメインメモリにデータを格納する必要がある。一方で、外部のメインメモリは、ＬＳＩ演算処理に比べて高速動作性能に劣るため、データリクエスト時のアクセスのレイテンシが符号化演算性能に影響を与えうる。このため、ＬＳＩと外部のメインメモリとの性能差を埋めるべく、キャッシュメモリと呼ばれる小容量の高速動作が可能な一時記憶装置を、ＬＳＩ内部に実装することが考えられる。
【０００５】
参照画像データ専用のキャッシュメモリをＬＳＩ内部に実装することで、将来再利用されうる参照画像データを事前にキャッシュメモリに保持し、メモリアクセスのレイテンシを隠蔽することが可能となる。動き探索処理や動き補償処理等の各機能ブロックが参照画像データを要求する場合、参照画像用のキャッシュメモリ内に要求データがあるか否かを判定する。一般的に、参照画像用のキャッシュメモリ内に要求データがある場合にはヒット又はキャッシュヒットと呼ばれ、参照画像用のキャッシュメモリ内に要求データがない場合にはミス又はキャッシュミスと呼ばれる。ヒットした場合は、キャッシュメモリから直接要求データを転送可能なため、外部のメインメモリにアクセスする必要がなく、アクセスレイテンシが隠蔽される。
【０００６】
キャッシュメモリの構成方式としては、様々なものが提案されているが、ＬＲＵ（ＬｅａｓｔＲｅｃｅｎｔｌｙＵｓｅｄ）アルゴリズムを用いたセットアソシアティブキャッシュが代表的である。セットアソシアティブキャッシュとは、キャッシュミス時に、キャッシュメモリ内のデータブロック（ライン）を新規データで置換する際に、置換先候補をキャッシュ上のｎ通りの候補にのみ限定する方式であり、ｎ－ｗａｙセットアソシアティブキャッシュと呼ばれる。ＬＲＵとは、ｎ通りの置換先候補の中で、アクセスされてから最も長い時間経ったものを置換するアルゴリズムである。
【０００７】
このようなキャッシュメモリ構成方式においては、ミスした場合のみ、メインメモリに対して新規データの要求信号が送信され、上記アルゴリズムに従って既存のラインが置換される。ＬＲＵアルゴリズムによって、データの時間的な局所性がキャッシュメモリに反映される。時間的局所性とは、ある時点で参照されたリソースが近い将来にも再び参照される可能性が高いといった性質である。ラインサイズを一定の大きさにとることで、アドレスがアクセスデータと近いデータも同時にキャッシュへと格納され、データのアドレス空間上の局所性が反映される。
【０００８】
このように、一般的なキャッシュの構成方法は、データ利用率に時間的な局所性とアドレス空間上の局所性があるという特徴を反映することができる（例えば、非特許文献１参照）。
【０００９】
一方で、参照画像データのみが格納されるキャッシュメモリの場合、一般的な時間的局所性やアドレス空間上の局所性に並んで、フレーム内の座標位置による幾何学的空間局所性、すなわち二次元平面的な局所性が非常に高い。幾何学的空間局所性とは、あるリソースが参照されたとき、その近傍のリソースが参照される可能性が高いといった性質である。
【００１０】
符号化対象となる処理ブロックは、二次元平面的に近い距離にある画素データほど、動き探索や動き補償の際に利用しやすい。このため、自ブロックからの距離や位置がデータ利用率と高い相関がある。参照画像データ用キャッシュメモリは、幾何学的空間局所性を反映した構成であるのが望ましいが、一般的なキャッシュメモリの構成では、幾何学的空間局所性を反映できない。例えば、アドレス空間上の近さは、フレーム内の座標位置としての幾何学的な近さとは一致しない。このため、通常のキャッシュメモリのように、ラインサイズを拡大しても、アドレス空間上の局所性を反映できるだけであって、幾何学的空間局所性を反映することはできない。すなわち、一般的なキャッシュメモリの構成では、二次元的な距離が近いほど、キャッシュメモリ内に存在しやすくすることはできない。
（【００１１】以降は省略されています）

関連特許