特許ウォッチ

公開番号2025145257
公報種別公開特許公報(A)
公開日2025-10-03
出願番号2024045343
出願日2024-03-21
発明の名称情報符号化装置及び方法、情報復号装置、プログラム、記憶媒体
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類H04N 19/46 20140101AFI20250926BHJP(電気通信技術)
要約【課題】画像情報と触覚情報を効率よく符号化する情報符号化装置及び方法を提供する。
【解決手段】情報符号化装置において、情報圧縮符号化部103は、画像情報を符号化する画像情報符号化部と、符号化されていない画像情報と符号化されていない触覚情報の相関を解析する解析部、解析部による解析結果に基づいて、符号化されていない画像情報における画素値を異なる画素値である変換画素値に変換するための情報である、画素値変換情報を生成する画素値変換情報生成部、触覚情報における触覚信号値と触覚信号値とを同一の空間位置に対応する変換画素値との差分値を計算する減算器及び差分値を圧縮符号化する圧縮符号化部を含み、触覚情報を符号化する触覚情報符号化部と、画像情報符号化部が符号化した画像符号化データ、触覚情報符号化部が符号化した触覚符号化データ及び画素値変換情報を、一つのビットストリームに多重化する多重化処理部と、を備える。
【選択図】図2
特許請求の範囲【請求項１】
画像情報と触覚情報とを符号化する情報符号化装置であって、
前記画像情報を符号化する第１の符号化手段と、
前記触覚情報を符号化する第２の符号化手段であって、
符号化されていない前記画像情報と符号化されていない前記触覚情報の相関を解析する解析手段と、
前記解析手段による解析結果に基づいて、符号化されていない前記画像情報における画素値を異なる画素値である変換画素値に変換するための情報である、画素値変換情報を生成する生成手段と、
触覚情報における触覚信号値と、該触覚信号値と同一の空間位置に対応する前記変換画素値との差分値を算出する算出手段と、
前記差分値を符号化する符号化する手段と、を備える第２の符号化手段と、
前記第１の符号化手段により符号化された画像符号化データと、前記第２の符号化手段により符号化された触覚符号化データと、前記画素値変換情報とを、一つのビットストリームに多重化する多重化手段と、
を備えることを特徴とする情報符号化装置。
続きを表示（約 1,000 文字）【請求項２】
前記解析手段には、前記画像情報として、原画像または復号画像が入力されることを特徴とする請求項１に記載の情報符号化装置。
【請求項３】
前記生成手段は、前記差分値がより小さい値となるように、前記画素値変換情報を生成することを特徴とする請求項１に記載の情報符号化装置。
【請求項４】
前記画素値変換情報は、前記画像情報における画素値を入力とし、前記変換画素値を出力として得ることができるルックアップテーブルのデータ構造を有することを特徴とする請求項１に記載の情報符号化装置。
【請求項５】
前記生成手段は、符号化されていない前記画像情報における１つの画素値に対して、対になる触覚信号値が複数存在する場合、前記１つの画素値を、前記対になる複数の触覚信号値の平均値、中央値、最頻値のいずれかに対応する画素値に変換するように前記画素値変換情報を生成することを特徴とする請求項１に記載の情報符号化装置。
【請求項６】
前記生成手段は、符号化されていない前記画像情報と符号化されていない前記触覚情報の相関が所定より低い場合、前記画素値変換情報を生成しないことを特徴とする請求項１に記載の情報符号化装置。
【請求項７】
前記第２の符号化手段は、前記画素値変換情報が生成されない場合、入力された前記触覚情報を直接符号化することを特徴とする請求項６に記載の情報符号化装置。
【請求項８】
前記生成手段は、前記画像情報及び前記触覚情報が経時変化する場合は、所定のタイミングで、前記画素値変換情報を再生成することを特徴とする請求項１に記載の情報符号化装置。
【請求項９】
前記画像情報及び前記触覚情報が経時変化する場合とは、前記画像情報または前記触覚情報に含まれる被写体が変化した場合、または被写体の数が変化した場合、または前記画像情報の明るさが変化した場合の少なくともいずれかであることを特徴とする請求項８に記載の情報符号化装置。
【請求項１０】
前記第２の符号化手段は、前記触覚情報に複数の被写体が含まれる場合、被写体の領域ごとに画像情報と触覚情報を解析し、被写体の領域ごとに前記画素値変換情報を生成することを特徴とする請求項１に記載の情報符号化装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像情報と触覚情報を符号化する情報符号化装置に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
近年、ヘッドマウントディスプレイ等をユーザが装着し、実時間にその場にいなくても、高い現実感や臨場感を有した映像体験ができる機会が増えてきている。さらには、より高い実在感をユーザへ提供する目的で、画像や音声に加え、触覚情報をフィードバックする機能も使用されはじめている。
【０００３】
そのため従来よりも画像、音声、そして触覚情報と大量のデータを効率良く伝送、蓄積する必要がある。これに関し、特許文献１では、画像情報、音声情報、触覚情報を異なる圧縮方式でそれぞれ符号化した後、後段の多重化部において、一つのストリームに加工して出力を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０１４－２３９４３０号公報
【非特許文献】
【０００５】
高橋城志、外1名、“Ｄｅｅｐｖｉｓｕｏ－ｔａｃｔｉｌｅｌｅａｒｎｉｎｇ：ＥｓｔｉｍａｔｉｏｎｏｆＴａｃｔｉｌｅＰｒｏｐｅｒｔｉｅｓｆｒｏｍＩｍａｇｅｓ”[ｏｎｌｉｎｅ]、２０１９年７月９日ｉｎＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＲｏｂｏｔｉｃｓａｎｄＡｕｔｏｍａｔｉｏｎ（ＩＣＲＡ）, ２０１９、インターネット＜URL:https://arxiv.org/pdf/1803.03435.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術の構成では、各情報をそれぞれ別々に符号化しているため、コンテンツによっては高い圧縮性能を実現しにくいという課題が残る。
【０００７】
本発明は上述した課題に鑑みてなされたものであり、その目的は、画像情報と触覚情報を効率よく符号化することができる情報符号化装置を提供することである。
【課題を解決するための手段】
【０００８】
本発明に係わる情報符号化装置は、画像情報と触覚情報とを符号化する情報符号化装置であって、前記画像情報を符号化する第１の符号化手段と、前記触覚情報を符号化する第２の符号化手段であって、符号化されていない前記画像情報と符号化されていない前記触覚情報の相関を解析する解析手段と、前記解析手段による解析結果に基づいて、符号化されていない前記画像情報における画素値を異なる画素値である変換画素値に変換するための情報である、画素値変換情報を生成する生成手段と、触覚情報における触覚信号値と、該触覚信号値と同一の空間位置に対応する前記変換画素値との差分値を算出する算出手段と、前記差分値を符号化する符号化する手段と、を備える第２の符号化手段と、前記第１の符号化手段により符号化された画像符号化データと、前記第２の符号化手段により符号化された触覚符号化データと、前記画素値変換情報とを、一つのビットストリームに多重化する多重化手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画像情報と触覚情報を効率よく符号化することが可能となる。
【図面の簡単な説明】
【００１０】
第１の実施形態における情報圧縮装置１００のシステム構成図。
第１の実施形態における情報圧縮符号化部１０３の内部構成図。
第１の実施形態における情報圧縮符号化部１０３の動作を示すフローチャート。
第１の実施形態における画素情報と触覚情報の対応関係を示した図。
第１の実施形態における画素値と触覚信号値の具体例を示した図。
第１の実施形態における画素値と変換後の画素値の具体例を示した図。
第１の実施形態における対応する画素値、触覚信号値、画素値変換後データ、および差分値の具体例を示した図。
第１の実施形態における多重化ビットストリームのデータ構造図。
第１の実施形態におけるヘッダデータとして伝送する画素値変換情報のフォーマット例を示す図。
第１の実施形態における触覚符号化データのフォーマット例を示す図。
第２の実施形態における画素値と触覚信号値の具体例を示した図。
第２の実施形態における情報圧縮符号化部１０３の動作を示すフローチャート。
第３の実施形態における符号化対象オブジェクトの変化を示す概念図。
第３の実施形態における情報圧縮符号化部１０３の動作を示すフローチャート。
第３の実施形態におけるストリーム構造を示す図。
第４の実施形態における復号再生装置１６００のシステム構成図
第４の実施形態における情報復号部１６０３の機能ブロック構成図。
第４の実施形態における情報復号部１６０３の動作を示すフローチャート。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許