特許ウォッチ

公開番号2024087821
公報種別公開特許公報(A)
公開日2024-07-02
出願番号2022202691
出願日2022-12-20
発明の名称圧縮センシングシステム、及び方法
出願人株式会社日立製作所
代理人ポレール弁理士法人
主分類H04N 19/59 20140101AFI20240625BHJP(電気通信技術)
要約【課題】3次元データ向けセンシングデータの転送時のデータ量増大に伴う転送遅延や転送コストの増大を低減する。
【解決手段】辞書学習を用いた圧縮センシングを応用して3次元センシングデータを効率的に転送する。従来の画像ベースの非可逆圧縮では低周波成分に電力が集中し、三次元情報の劣化が大きくなる特徴を改善する。深度情報と色情報で間引き率を変更し、復元にもう一方の復元結果から作成した辞書ベクトルを用いることにより、少ないデータ量で元の結果を復元する。
【選択図】図3
特許請求の範囲【請求項１】
３次元データの送信を少なくとも、深度情報もしくは視差情報と色情報として行うシステムにおいて、送信側で一部を削減したデータを送付し、受信側で基底行列とスパース性に基づいてデータの復元を行う圧縮センシングシステムであって、
受信側は、復元時に、深度情報もしくは視差情報の復元情報と、色情報の復元結果から、追加の基底ベクトルを求め、前記基底ベクトルを、深度情報もしくは視差情報と、色情報の少なくとも一方の復元に用いることを特徴とする圧縮センシングシステム。
続きを表示（約 1,100 文字）【請求項２】
請求項１記載の圧縮センシングシステムであって、
送信側は、データ間引きを用いてデータの圧縮を行い、深度情報もしくは視差情報と色情報がそれぞれ異なる間引き率を用いることを特徴とする圧縮センシングシステム。
【請求項３】
請求項２記載の圧縮センシングシステムであって、
送信側での間引き率は、受信側からの確認応答に応じて変更されることを特徴とする圧縮センシングシステム。
【請求項４】
請求項１記載の圧縮センシングシステムであって、
受信側でデータの復元に用いる前記基底行列は離散コサイン変換、離散フーリエ変換、ウォルシュアダマール変換、ウェーブレット変換の基底ベクトルであることを特徴とする圧縮センシングシステム。
【請求項５】
請求項１記載の圧縮センシングシステムであって、
受信側でデータの復元に用いる基底行列は、送信側からのトレーニング信号を用いて辞書学習した規定ベクトルからなることを特徴とする圧縮センシングシステム。
【請求項６】
請求項５記載の圧縮センシングシステムであって、
センサ端末は予め決められた一定の周期でトレーニング信号と間引き後のデータまたはパイロット信号を送信することを特徴とする圧縮センシングシステム。
【請求項７】
請求項１記載の圧縮センシングシステムであって、
送信側は、少なくとも２つの異なるセンサ端末からの３次元データを仲介するエッジノードを有し、エッジノードは、２つの異なるセンサ端末からの３次元データの相関に基づき圧縮率を変更することを特徴とする圧縮センシングシステム。
【請求項８】
請求項７記載の圧縮センシングシステムであって、
相関推定は、異なるセンサ端末のデータそれぞれの特徴量ベクトルを特徴量抽出器で算出し、前記特徴量ベクトル間の距離を算出することで行われることを特徴とする圧縮センシングシステム。
【請求項９】
請求項８記載の圧縮センシングシステムであって、
特徴量抽出は、ニューラルネットワークの任意の層の特徴マップを組み合わせて算出されることを特徴とする圧縮センシングシステム。
【請求項１０】
請求項８記載の圧縮センシングシステムであって、
特徴量の抽出は画像の線分検出、輪郭画像を極座標変換する手法、回転スケール不変の特徴量を用いる手法で算出されることを特徴とする圧縮センシングシステム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、３次元を表すデータの作成に用いるセンシングデータを送受信する圧縮センシングシステム、及び方法に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
本技術分野の背景技術として、ポイントクラウド（点群）のような３次元を表現するデータの圧縮符号化方式が提案されている。例えば、点群の幾何学的な構造を、直接ツリー法を用いて圧縮する手法が提案されている（非特許文献１）。また、既存の動画圧縮技術を応用した手法として、３次元モデルを複数の画像情報に変換し、画像圧縮の手法を用いて点群を圧縮し、伸長後に点群を再構成する手法が提案されている(非特許文献２)
【先行技術文献】
【非特許文献】
【０００３】
Tim Golla and Reinhard Klein, "Real-time Point Cloud Compression," IEEE, 2015
K. Mammou, “Video-based and Hierarchical Approaches Point Cloud Compression”, MPEG m41649, Oct. 2017
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来のセンサ端末で取得したデータをエッジノードで収集し、データ処理を行うIoTシステムにおいて、３次元データを転送する場合、２次元データを送信する場合と比較してデータ量が増大し、帯域が逼迫する課題がある。特に、２次元データは効率の良い圧縮伸長方式がよく知られているが、通常、これらは、低周波成分に電力を集中させて、高周波分のデータを削除することにより行われており、３次元データで求められる距離、深度マップの精度劣化が生じるため、そのまま３次元データに適用することが困難である。このため、３次元データをリアルタイムに伝送して活用するIoTシステムの構築が困難となる課題があった。
【課題を解決するための手段】
【０００５】
上記の課題を解決するため、本発明においては、３次元データの送信を少なくとも、深度情報もしくは視差情報と色情報として行うシステムであって、送信側で一部を削減したデータを送付し、受信側で基底行列とスパース性に基づいてデータの復元を行う圧縮センシングシステムであり、受信側は、復元時に、深度情報もしくは視差情報の復元情報と、色情報の復元結果から、追加の基底ベクトルを求め、前記基底ベクトルを、深度情報もしくは視差情報と、色情報の少なくとも一方の復元に用いることを特徴とする圧縮センシングシステム及びその方法を提供する。
【０００６】
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、センサ端末で取得した深度マップと画像データより、３次元データを復元するシステムにおいて、辞書学習を用いた圧縮センシングを応用して３次元センシングデータを効率的に転送する。
【０００７】
センサ端末より、深度マップを少ない間引きで送り高精度に復元し、深度マップの復元結果から、辞書学習アルゴリズムで、復元に用いる規定ベクトルを抽出、抽出した規定ベクトルを用いて画像データを復元することで、３次元データの深度マップに対応する画像データを効率的(圧縮率が高い状態)で転送する。
【０００８】
センサ端末からは、圧縮センシングの手法でデータ間引きして転送するため、離散コサインベースのフィルタリングと異なり、低周波成分に電力が集中しないため、距離精度が維持される。
【０００９】
また、圧縮の際に、画像データの圧縮率が深度マップの圧縮率より高くなる形で転送し、深度マップから画像データ復元用の辞書を生成するため、画像データは深度マップとの相関の高い領域が優先的に復元され、効率的な三次元データの転送が可能となる。
【００１０】
特に既存の手法が３次元データそのものを効率的に圧縮するのに適した手法であったのに対し、３次元データを構築する元データとなるセンシング情報を直接的に圧縮伸長するシステムに適した手法となる。
【発明の効果】
（【００１１】以降は省略されています）

関連特許