特許ウォッチ

公開番号2025099694
公報種別公開特許公報(A)
公開日2025-07-03
出願番号2023216567
出願日2023-12-22
発明の名称映像復号装置、映像復号方法及びプログラム
出願人KDDI株式会社
代理人フェリシテ弁理士法人
主分類H04N 19/46 20140101AFI20250626BHJP(電気通信技術)
要約【課題】感情スタンプが付与された顔映像の符号化効率を向上させること。
【解決手段】本発明に係る映像復号装置100は、顔映像のキーフレームの符号情報から画像テクスチャを復号する第1復号部101と、補間フレームの符号情報から表情制御情報及びスタンプ制御情報を復号する第2復号部102と、表情制御情報に基づいて顔メッシュ情報を作成する顔メッシュ生成部103と、マップ情報を蓄積する蓄積部105と、スタンプ制御情報と蓄積部105に蓄積されている過去のマップ情報とに基づいて次フレームのマップ情報を生成するスタンプマップ生成部104と、顔メッシュ情報とスタンプマップ生成部104によって生成されたマップ情報とに基づいて顔空間情報を生成する顔空間生成部106と、画像テクスチャと顔空間情報とに基づいて補間フレームを予測するフレーム間予測部107とを備える。
【選択図】図1
特許請求の範囲【請求項１】
顔映像のキーフレームの符号情報から画像テクスチャを復号する第１復号部と、
補間フレームの符号情報から、前記顔映像における表情を制御する表情制御情報、及び、スタンプを識別するスタンプ識別情報と前記スタンプの表示領域を示す表示領域情報とを含むスタンプ制御情報を復号する第２復号部と、
前記表情制御情報に基づいて、顔メッシュ情報を作成する顔メッシュ生成部と、
前記補間フレームに前記スタンプをマッピングする方法を定義するマップ情報を蓄積する蓄積部と、
前記スタンプ制御情報と前記蓄積部に蓄積されている過去の前記マップ情報とに基づいて、次フレームの前記マップ情報を生成するスタンプマップ生成部と、
前記顔メッシュ情報と前記スタンプマップ生成部によって生成された前記マップ情報とに基づいて、前記補間フレームにおいて前記表情及び前記スタンプを表現するために抽象的に表現された情報である顔空間情報を生成する顔空間生成部と、
前記画像テクスチャと前記顔空間情報とに基づいて、前記補間フレームを予測するフレーム間予測部とを備えることを特徴とする映像復号装置。
続きを表示（約 1,200 文字）【請求項２】
前記表情制御情報は、３次元又は２次元の情報であることを特徴とする請求項１に記載の映像復号装置。
【請求項３】
前記スタンプマップ生成部は、前記スタンプ識別情報と前記表示領域情報と前記過去のマップ情報に基づいて、表示される全てのスタンプの前記マップ情報を生成することを特徴とする請求項１に記載の映像復号装置。
【請求項４】
前記顔空間情報は、前記スタンプの表示領域と前記顔メッシュ情報で構成されていることを特徴とする請求項１に記載の映像復号装置。
【請求項５】
顔映像のキーフレームの符号情報から画像テクスチャを復号する工程と、
補間フレームの符号情報から、前記顔映像における表情を制御する表情制御情報、及び、スタンプを識別するスタンプ識別情報と前記スタンプの表示領域を示す表示領域情報とを含むスタンプ制御情報を復号する工程と、
前記表情制御情報に基づいて、顔メッシュ情報を作成する工程と、
前記補間フレームに前記スタンプをマッピングする方法を定義するマップ情報を蓄積する工程と、
前記スタンプ制御情報と蓄積されている過去の前記マップ情報とに基づいて、次フレームの前記マップ情報を生成する工程と、
前記顔メッシュ情報と前記スタンプマップ生成部によって生成された前記マップ情報とに基づいて、前記補間フレームにおいて前記表情及び前記スタンプを表現するために抽象的に表現された情報である顔空間情報を生成する工程と、
前記画像テクスチャと前記顔空間情報とに基づいて、前記補間フレームを予測する工程とを有することを特徴とする映像復号方法。
【請求項６】
コンピュータを、映像復号装置として機能させるプログラムであって、
前記映像復号装置は、
顔映像のキーフレームの符号情報から画像テクスチャを復号する第１復号部と、
補間フレームの符号情報から、前記顔映像における表情を制御する表情制御情報、及び、スタンプを識別するスタンプ識別情報と前記スタンプの表示領域を示す表示領域情報とを含むスタンプ制御情報を復号する第２復号部と、
前記表情制御情報に基づいて、顔メッシュ情報を作成する顔メッシュ生成部と、
前記補間フレームに前記スタンプをマッピングする方法を定義するマップ情報を蓄積する蓄積部と、
前記スタンプ制御情報と前記蓄積部に蓄積されている過去の前記マップ情報とに基づいて、次フレームの前記マップ情報を生成するスタンプマップ生成部と、
前記顔メッシュ情報と前記スタンプマップ生成部によって生成された前記マップ情報とに基づいて、前記補間フレームにおいて前記表情及び前記スタンプを表現するために抽象的に表現された情報である顔空間情報を生成する顔空間生成部と、
前記画像テクスチャと前記顔空間情報とに基づいて、前記補間フレームを予測するフレーム間予測部とを備えることを特徴とするプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、映像復号装置、映像復号方法及びプログラムに関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
非特許文献１には、ＧＦＶＣ（ＧｅｎｅｒａｔｉｖｅＦａｃｅＶｉｄｅｏＣｏｄｅｃ）について開示されている。
【０００３】
ＧＦＶＣは、顔映像の伝送に特化し、人の表情を構成する口の動きや目のまばたきや頭の回転や頭の移動を制御する情報を復号し、３次元のセマンティックな顔空間に投影し、別途復号された顔のキーフレームと合成することで、顔の補間フレームを生成し、効率的に顔映像を伝送することができる。
【先行技術文献】
【非特許文献】
【０００４】
Bolin Chen et al. "Interactive Face Video Coding: A Generative Compression Framework," in arXiv - CS - Computer Vision and Pattern Recognition, 2023.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非特許文献１では、顔画像をキーフレームと目・口・頭部の傾き等の部位ごとの制御情報とを合成することで、補間フレームを生成することができ、効率的な伝送を実現しているが、その他、顔に付与された感情スタンプについては考慮されていないという問題点があった。
【０００６】
また、感情スタンプは、様々提案されており、その種類によって表示場所が異なるが、従来の復号技術では、このような表示場所の考慮もなされていないという問題点があった。
【０００７】
そこで、本発明は、上述の課題に鑑みてなされたものであり、感情スタンプが付与された顔映像の符号化効率を向上させることができる映像復号装置、映像復号方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の特徴は、映像復号装置であって、顔映像のキーフレームの符号情報から画像テクスチャを復号する第１復号部と、補間フレームの符号情報から、前記顔映像における表情を制御する表情制御情報、及び、スタンプを識別するスタンプ識別情報と前記スタンプの表示領域を示す表示領域情報とを含むスタンプ制御情報を復号する第２復号部と、前記表情制御情報に基づいて、顔メッシュ情報を作成する顔メッシュ生成部と、前記補間フレームに前記スタンプをマッピングする方法を定義するマップ情報を蓄積する蓄積部と、前記スタンプ制御情報と前記蓄積部に蓄積されている過去の前記マップ情報とに基づいて、次フレームの前記マップ情報を生成するスタンプマップ生成部と、前記顔メッシュ情報と前記スタンプマップ生成部によって生成された前記マップ情報とに基づいて、前記補間フレームにおいて前記表情及び前記スタンプを表現するために抽象的に表現された情報である顔空間情報を生成する顔空間生成部と、前記画像テクスチャと前記顔空間情報とに基づいて、前記補間フレームを予測するフレーム間予測部とを備えることを要旨とする。
【０００９】
本発明の第２の特徴は、映像復号方法であって、顔映像のキーフレームの符号情報から画像テクスチャを復号する工程と、補間フレームの符号情報から、前記顔映像における表情を制御する表情制御情報、及び、スタンプを識別するスタンプ識別情報と前記スタンプの表示領域を示す表示領域情報とを含むスタンプ制御情報を復号する工程と、前記表情制御情報に基づいて、顔メッシュ情報を作成する工程と、前記補間フレームに前記スタンプをマッピングする方法を定義するマップ情報を蓄積する工程と、前記スタンプ制御情報と蓄積されている過去の前記マップ情報とに基づいて、次フレームの前記マップ情報を生成する工程と、前記顔メッシュ情報と前記スタンプマップ生成部によって生成された前記マップ情報とに基づいて、前記補間フレームにおいて前記表情及び前記スタンプを表現するために抽象的に表現された情報である顔空間情報を生成する工程と、前記画像テクスチャと前記顔空間情報とに基づいて、前記補間フレームを予測する工程とを有することを要旨とする。
【００１０】
本発明の第３の特徴は、コンピュータを、映像復号装置として機能させるプログラムであって、前記映像復号装置は、顔映像のキーフレームの符号情報から画像テクスチャを復号する第１復号部と、補間フレームの符号情報から、前記顔映像における表情を制御する表情制御情報、及び、スタンプを識別するスタンプ識別情報と前記スタンプの表示領域を示す表示領域情報とを含むスタンプ制御情報を復号する第２復号部と、前記表情制御情報に基づいて、顔メッシュ情報を作成する顔メッシュ生成部と、前記補間フレームに前記スタンプをマッピングする方法を定義するマップ情報を蓄積する蓄積部と、前記スタンプ制御情報と前記蓄積部に蓄積されている過去の前記マップ情報とに基づいて、次フレームの前記マップ情報を生成するスタンプマップ生成部と、前記顔メッシュ情報と前記スタンプマップ生成部によって生成された前記マップ情報とに基づいて、前記補間フレームにおいて前記表情及び前記スタンプを表現するために抽象的に表現された情報である顔空間情報を生成する顔空間生成部と、前記画像テクスチャと前記顔空間情報とに基づいて、前記補間フレームを予測するフレーム間予測部とを備えることを要旨とする。
【発明の効果】
（【００１１】以降は省略されています）

関連特許