特許ウォッチ

公開番号2025004340
公報種別公開特許公報(A)
公開日2025-01-15
出願番号2023103963
出願日2023-06-26
発明の名称ノイズ除去装置、ノイズ除去方法及びプログラム
出願人日本電信電話株式会社,国立大学法人大阪大学
代理人弁理士法人志賀国際特許事務所
主分類G06F 17/10 20060101AFI20250107BHJP(計算;計数)
要約【課題】ノイズ除去の観点でグラフ構造を最適化しつつ、ノイズ除去問題を求解することで、マルチモーダル信号からノイズを除去する。
【解決手段】観測信号行列の列ごとの観測信号値で形成される観測信号からノイズを除去した原信号を、第1グラフによって表した場合に、第1グラフ上で原信号は滑らかになるという仮定に基づいて定めた第1目的関数と、観測信号行列の行ごとの観測信号値で形成される観測信号からノイズを除去した原信号を、第2グラフによって表した場合に、第2グラフ上で原信号は滑らかになるという仮定に基づいて定めた第2目的関数とから導かれる演算式であって、第1グラフと第2グラフの各々の隣接行列とを最適化し、最適化した隣接行列に基づいて観測信号からノイズを除去する演算を行う演算式に、K個の観測信号行列を適用して、観測信号の各々からノイズを除去した原信号を推定する。
【選択図】図1
特許請求の範囲【請求項１】
空間における複数の観測位置の各々において、複数のドメインの各々によって、Ｋ回（ただし、Ｋは、２以上の整数）の観測回数により得られる観測位置数×ドメイン数×Ｋ個の観測信号値を、前記観測位置と前記ドメインの何れか一方を、行とし、他方を列として並べて、Ｋ個の観測信号行列を生成する行列生成部と、
前記観測信号行列の列ごとの前記観測信号値で形成される観測信号からノイズを除去した原信号を、前記観測信号行列の列に含まれる前記観測信号値の数の頂点を有する第１グラフによって表した場合に、前記第１グラフ上で前記原信号は滑らかになるという仮定に基づいて定めた第１目的関数と、前記観測信号行列の行ごとの前記観測信号値で形成される観測信号からノイズを除去した原信号を、前記観測信号行列の行に含まれる前記観測信号値の数の頂点を有する第２グラフによって表した場合に、前記第２グラフ上で前記原信号は滑らかになるという仮定に基づいて定めた第２目的関数とから導かれる演算式であって、前記第１グラフと前記第２グラフの各々の隣接行列とを最適化し、最適化した前記隣接行列に基づいて前記観測信号からノイズを除去する演算を行う演算式に、前記行列生成部が生成するＫ個の前記観測信号行列を適用して、前記観測信号の各々からノイズを除去した原信号を推定する演算処理部と、
を備えるノイズ除去装置。
続きを表示（約 3,500 文字）【請求項２】
前記演算式は、
前記第１目的関数から導かれる第１ノイズ除去式であって、前記第１グラフの隣接行列によって定められ、前記観測信号行列の列ごとの前記観測信号からノイズを除去した第１ノイズ除去信号を算出する第１ノイズ除去式と、
前記第２目的関数から導かれる第２ノイズ除去式であって、前記第２グラフの隣接行列によって定められ、前記観測信号行列の行ごとの前記観測信号からノイズを除去した第２ノイズ除去信号を算出する第２ノイズ除去式と、
前記第１目的関数から導かれる第１隣接行列算出式であって、前記第１ノイズ除去信号によって定められ、前記第１グラフの隣接行列の算出に用いられる第１隣接行列算出式と、
前記第２目的関数から導かれる第２隣接行列算出式であって、前記第２ノイズ除去信号によって定められ、前記第２グラフの隣接行列の算出に用いられる第２隣接行列算出式と、
である、
請求項１に記載のノイズ除去装置。
【請求項３】
前記演算処理部は、
第１入力配列から前記第１隣接行列算出式を生成し、生成した前記第１隣接行列算出式を用いて前記第１グラフの隣接行列を算出し、算出した前記第１グラフの隣接行列に基づいて前記第１ノイズ除去式を生成し、第２入力配列を前記観測信号行列と同一の形式のＫ個の行列に分割し、分割した行列の各々の列ベクトルである前記第１ノイズ除去信号の各々を、生成した前記第１ノイズ除去式に代入して、新たな第１ノイズ除去信号を算出し、算出した新たな前記第１ノイズ除去信号を列ベクトルとして含む配列であって、前記Ｋ個の観測信号行列によって形成される配列と同一の形式の出力配列を生成する第１演算部と、
第１入力配列から前記第２隣接行列算出式を生成し、生成した前記第２隣接行列算出式を用いて前記第２グラフの隣接行列を算出し、第２入力配列を前記観測信号行列と同一の形式のＫ個の行列に分割し、分割した行列の各々の転置行列の列ベクトルである前記第２ノイズ除去信号の各々を、生成した前記第２ノイズ除去式に代入して、新たな第２ノイズ除去信号を算出し、算出した新たな前記第２ノイズ除去信号を転置して得られるベクトルを行ベクトルとして含む配列であって、前記Ｋ個の観測信号行列によって形成される配列と同一の形式の出力配列を生成する第２演算部と、
前記第１演算部の第１入力配列及び第２入力配列と、前記第２演算部の第１入力配列及び第２入力配列とに適用する配列を、前記Ｋ個の観測信号行列によって形成される配列である初期配列、前記第１演算部が生成する出力配列、前記第２演算部が生成する出力配列の中から選択し、前記第１演算部と、前記第２演算部に処理を行わせて、前記原信号を取得する演算制御部と、
をさらに備える、
請求項２に記載のノイズ除去装置。
【請求項４】
前記演算制御部は、
前記第２演算部の第１入力配列及び第２入力配列を、前記初期配列として、前記第２演算部に初回の処理を行わせた後、前記第１演算部の処理として、直近で処理が行われた前記第２演算部が生成する出力配列を、前記第１演算部の第１入力配列及び第２入力配列とする処理と、２回目以降の前記第２演算部の処理では、前記第２演算部の第１入力配列を、直近で処理が行われた前記第１演算部が生成する出力配列とし、前記第２演算部の第２入力配列を前記初期配列とする処理とを、前記第１演算部と、前記第２演算部とに交互に行わせて、前記第１演算部が所定回数、処理を行った際に生成する出力配列を、前記原信号を含む配列とする、
請求項３に記載のノイズ除去装置。
【請求項５】
前記演算制御部は、
前記第２演算部の第１入力配列及び第２入力配列を、前記初期配列として、前記第２演算部に初回の処理を行わせた後、直近で前記第２演算部が生成する出力配列を、前記第２演算部の第１入力配列とし、前記第２演算部の第２入力配列を前記初期配列とする処理を、第２の所定回数、前記第２演算部に行わせ、
前記第２演算部が、前記第２の所定回数、処理を行って、最後に生成する出力配列を、前記第１演算部の第１入力配列、第２入力配列として、前記第１演算部に初回の処理を行わせた後、直近で前記第１演算部が生成する出力配列を、前記第１演算部の第１入力配列とし、前記第１演算部の第２入力配列を、初回の前記第１演算部の第２入力配列とする処理を、第１の所定回数、繰り返し前記第１演算部に行わせ、
前記第１演算部が、前記第１の所定回数、処理を行って、最後に生成する出力配列を、前記原信号を含む配列とする、
請求項３に記載のノイズ除去装置。
【請求項６】
前記第１演算部は、
前記第１入力配列から前記第１グラフに対応するペアワイズ距離行列を算出し、算出した前記ペアワイズ距離行列から前記第１隣接行列算出式を生成し、
前記第１隣接行列算出式に、主－双対近接分離法を適用して、前記第１グラフの隣接行列を算出し、
前記第２演算部は、
前記第１入力配列から前記第２グラフに対応するペアワイズ距離行列を算出し、算出した前記ペアワイズ距離行列から前記第２隣接行列算出式を生成し、
前記第２隣接行列算出式に、主－双対近接分離法を適用して、前記第２グラフの隣接行列を算出する、
請求項３から請求項５のいずれか一項に記載のノイズ除去装置。
【請求項７】
空間における複数の観測位置の各々において、複数のドメインの各々によって、Ｋ回（ただし、Ｋは、２以上の整数）の観測回数により得られる観測位置数×ドメイン数×Ｋ個の観測信号値を、前記観測位置と前記ドメインの何れか一方を、行とし、他方を列として並べて、Ｋ個の観測信号行列を生成する行列生成ステップと、
前記観測信号行列の列ごとの前記観測信号値で形成される観測信号からノイズを除去した原信号を、前記観測信号行列の列に含まれる前記観測信号値の数の頂点を有する第１グラフによって表した場合に、前記第１グラフ上で前記原信号は滑らかになるという仮定に基づいて定めた第１目的関数と、前記観測信号行列の行ごとの前記観測信号値で形成される観測信号からノイズを除去した原信号を、前記観測信号行列の行に含まれる前記観測信号値の数の頂点を有する第２グラフによって表した場合に、前記第２グラフ上で前記原信号は滑らかになるという仮定に基づいて定めた第２目的関数とから導かれる演算式であって、前記第１グラフと前記第２グラフの各々の隣接行列とを最適化し、最適化した前記隣接行列に基づいて前記観測信号からノイズを除去する演算を行う演算式に、前記行列生成ステップにより生成されたＫ個の前記観測信号行列を適用して、前記観測信号の各々からノイズを除去した原信号を推定する演算処理ステップと、
を含むノイズ除去方法。
【請求項８】
コンピュータを、
空間における複数の観測位置の各々において、複数のドメインの各々によって、Ｋ回（ただし、Ｋは、２以上の整数）の観測回数により得られる観測位置数×ドメイン数×Ｋ個の観測信号値を、前記観測位置と前記ドメインの何れか一方を、行とし、他方を列として並べて、Ｋ個の観測信号行列を生成する行列生成手段、
前記観測信号行列の列ごとの前記観測信号値で形成される観測信号からノイズを除去した原信号を、前記観測信号行列の列に含まれる前記観測信号値の数の頂点を有する第１グラフによって表した場合に、前記第１グラフ上で前記原信号は滑らかになるという仮定に基づいて定めた第１目的関数と、前記観測信号行列の行ごとの前記観測信号値で形成される観測信号からノイズを除去した原信号を、前記観測信号行列の行に含まれる前記観測信号値の数の頂点を有する第２グラフによって表した場合に、前記第２グラフ上で前記原信号は滑らかになるという仮定に基づいて定めた第２目的関数とから導かれる演算式であって、前記第１グラフと前記第２グラフの各々の隣接行列とを最適化し、最適化した前記隣接行列に基づいて前記観測信号からノイズを除去する演算を行う演算式に、前記行列生成手段が生成するＫ個の前記観測信号行列を適用して、前記観測信号の各々からノイズを除去した原信号を推定する演算処理手段、
として機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、ノイズ除去装置、ノイズ除去方法及びプログラムに関する。
続きを表示（約 2,900 文字）【背景技術】
【０００２】
信号復元とは、ノイズや欠損によって劣化した観測信号から元の信号を復元することである。実世界では、観測信号にはノイズや欠損が多く存在するため、信号復元問題は重要なタスクとして研究が続けられている。例として、音声信号、画像信号、映像信号などに対する信号復元問題が広く研究されている。
【０００３】
センサネットワーク、交通網、点群などから得られる信号は、空間的な相互接続関係を有する。このような接続関係は、頂点と辺を用いたグラフとして表現することができる。このように、グラフとして表現することができる信号に対する信号処理技術として、グラフ信号処理（Graph Signal Processing: GSP）技術が知られており、この技術を用いることで、頂点領域に存在する信号であるグラフ信号を、数理的に解析することが可能になる。例えば、この技術を用いることにより、複雑なネットワークの変化を考慮した処理などが可能になる。
【０００４】
ところで、空間内の複数の観測位置における観測、より具体的には、センサ等を用いた計測などによって得られる観測信号は、光、音、距離など、複数ドメインで観測された信号からなるマルチモーダル信号となることが多い。マルチモーダル信号の各モダリティは互いに相関を有することを期待することができる。そのため、ドメイン間、すなわちモダリティ間の関係は、各モダリティを頂点、モダリティ間の関係性を辺としたモダリティグラフ（Modality graph）によって数理的に表現することができる。これに対して、各観測位置は、上記したように、空間的に相関があるため、観測位置間の関係は、各観測位置を頂点、観測位置間の関係性を辺とした空間グラフ（Spatial graph）によって数理的に表現することができる。
【０００５】
マルチモーダル信号は通常の信号と同様に、観測の際にノイズが重畳するため、このノイズを除去する必要がある。上記したグラフ信号処理技術の分野において、ノイズ除去問題という問題が知られており、この問題は、サンプル間の接続関係を利用して、ノイズを含んだ観測信号から未知の原信号を求めることを目的とする問題である。このグラフ信号のノイズ除去問題をマルチモーダル信号に対して設定し、空間グラフとモダリティグラフの２種類のグラフを利用して、マルチモーダル信号からノイズを除去して、原信号を求める手法が提案されている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００６】
Masatoshi Nagahama and Yuichi Tanaka, ”Multimodal Graph Signal Denoising Via Twofold Graph Smoothness Regularization with Deep Algorithm Unrolling”, 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2022, pp. 5862-5866.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記したグラフ信号のノイズ除去問題では、グラフが明に与えられていない場合も多い。このような場合、効果的な解析を行うために、観測信号から適切なグラフを推定する必要がある。しかしながら、非特許文献１に開示されている技術では、グラフの構造は、発見的、言い換えると、明確な数理的な根拠なく、適宜与えるようにしており、ノイズ除去の観点で、最適化されていないという問題がある。
【０００８】
本発明は、ノイズ除去の観点でグラフ構造を最適化しつつ、ノイズ除去問題を求解することで、マルチモーダル信号からノイズを除去することができるノイズ除去装置、ノイズ除去方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明の一態様は、空間における複数の観測位置の各々において、複数のドメインの各々によって、Ｋ回（ただし、Ｋは、２以上の整数）の観測回数により得られる観測位置数×ドメイン数×Ｋ個の観測信号値を、前記観測位置と前記ドメインの何れか一方を、行とし、他方を列として並べて、Ｋ個の観測信号行列を生成する行列生成部と、前記観測信号行列の列ごとの前記観測信号値で形成される観測信号からノイズを除去した原信号を、前記観測信号行列の列に含まれる前記観測信号値の数の頂点を有する第１グラフによって表した場合に、前記第１グラフ上で前記原信号は滑らかになるという仮定に基づいて定めた第１目的関数と、前記観測信号行列の行ごとの前記観測信号値で形成される観測信号からノイズを除去した原信号を、前記観測信号行列の行に含まれる前記観測信号値の数の頂点を有する第２グラフによって表した場合に、前記第２グラフ上で前記原信号は滑らかになるという仮定に基づいて定めた第２目的関数とから導かれる演算式であって、前記第１グラフと前記第２グラフの各々の隣接行列とを最適化し、最適化した前記隣接行列に基づいて前記観測信号からノイズを除去する演算を行う演算式に、前記行列生成部が生成するＫ個の前記観測信号行列を適用して、前記観測信号の各々からノイズを除去した原信号を推定する演算処理部と、を備えるノイズ除去装置である。
【００１０】
本発明の一態様は、空間における複数の観測位置の各々において、複数のドメインの各々によって、Ｋ回（ただし、Ｋは、２以上の整数）の観測回数により得られる観測位置数×ドメイン数×Ｋ個の観測信号値を、前記観測位置と前記ドメインの何れか一方を、行とし、他方を列として並べて、Ｋ個の観測信号行列を生成する行列生成ステップと、
前記観測信号行列の列ごとの前記観測信号値で形成される観測信号からノイズを除去した原信号を、前記観測信号行列の列に含まれる前記観測信号値の数の頂点を有する第１グラフによって表した場合に、前記第１グラフ上で前記原信号は滑らかになるという仮定に基づいて定めた第１目的関数と、前記観測信号行列の行ごとの前記観測信号値で形成される観測信号からノイズを除去した原信号を、前記観測信号行列の行に含まれる前記観測信号値の数の頂点を有する第２グラフによって表した場合に、前記第２グラフ上で前記原信号は滑らかになるという仮定に基づいて定めた第２目的関数とから導かれる演算式であって、前記第１グラフと前記第２グラフの各々の隣接行列とを最適化し、最適化した前記隣接行列に基づいて前記観測信号からノイズを除去する演算を行う演算式に、前記行列生成ステップにより生成されたＫ個の前記観測信号行列を適用して、前記観測信号の各々からノイズを除去した原信号を推定する演算処理ステップと、を含むノイズ除去方法である。
（【００１１】以降は省略されています）

関連特許