特許ウォッチ

公開番号2024165819
公報種別公開特許公報(A)
公開日2024-11-28
出願番号2023082342
出願日2023-05-18
発明の名称情報処理システム、情報処理方法及びプログラム
出願人国立大学法人筑波大学
代理人個人,個人,個人,個人,個人
主分類H04R 23/00 20060101AFI20241121BHJP(電気通信技術)
要約【課題】音を復元することができる情報処理システム、情報処理方法及びプログラムを提供すること。
【解決手段】情報処理システムは、振動しているターゲットを撮影したイベントデータを複数受け付ける受付部と、受付部が受け付けた複数のイベントデータに基づいて、複数の画素の各々に発生しているイベントの数を計数し、複数の画素の各々に発生しているイベントの数の計数結果に基づいて、第1数個の画素を抽出する抽出部と、抽出部が抽出した第1数個の画素に基づいて、第1数個の画素の各々について、局所反応を作成する作成部と、第1数個の画素の各々について作成部が作成した局所反応に基づいて局所振幅及び局所位相を導出し、局所反応と局所振幅と局所位相とガウシアンカーネルから空間的にぼかされた位相信号を導出する導出部と、導出部が導出した空間的にぼかされた位相信号に基づいて音を復元する復元部とを備える
【選択図】図1
特許請求の範囲【請求項１】
振動しているターゲットを撮影したイベントデータを複数受け付ける受付部と、
前記受付部が受け付けた複数の前記イベントデータに基づいて、複数の画素の各々に発生しているイベントの数を計数し、複数の画素の各々に発生しているイベントの数の計数結果に基づいて、第１数個の画素を抽出する抽出部と、
前記抽出部が抽出した第１数個の前記画素に基づいて、第１数個の前記画素の各々について、局所反応を作成する作成部と、
第１数個の前記画素の各々について前記作成部が作成した前記局所反応に基づいて局所振幅及び局所位相を導出し、前記局所反応と前記局所振幅と前記局所位相とガウシアンカーネルから空間的にぼかされた位相信号を導出する導出部と、
前記導出部が導出した空間的にぼかされた前記位相信号に基づいて音を復元する復元部と
を備える、情報処理システム。
続きを表示（約 1,500 文字）【請求項２】
前記第１数は、前記受付部が受け付けた複数のイベントデータに基づいてイベントが発生しているとされた画素の数未満である、請求項１に記載の情報処理システム。
【請求項３】
前記抽出部は、複数の画素の各々に発生しているイベントの数の計数結果に基づいて、発生しているイベントの数が多い方から第１数個の画素を抽出する、請求項１に記載の情報処理システム。
【請求項４】
前記ターゲットが振動している方向を検出する検出部
をさらに備え、
前記作成部は、前記検出部か検出した前記ターゲットが振動している前記方向の局所反応を作成する、請求項１に記載の情報処理システム。
【請求項５】
前記ターゲットが振動している方向を入力する入力部
をさらに備え、
前記作成部は、前記入力部が入力した前記ターゲットが振動している前記方向の局所反応を作成する、請求項１に記載の情報処理システム。
【請求項６】
前記復元部は、前記第１数個の空間的にぼかされた前記位相信号から構成される行列の次元を削減する、請求項１に記載の情報処理システム。
【請求項７】
前記復元部は、前記第１数個の空間的にぼかされた前記位相信号から構成される行列の次元を削減した結果を、独立した信号に分割する、請求項５に記載の情報処理システム。
【請求項８】
前記復元部は、独立した信号に分割した結果を時間ベクトルに再構成する、請求項７に記載の情報処理システム。
【請求項９】
振動しているターゲットを撮影したイベントデータを複数受け付けるステップと、
前記受け付けるステップで受け付けた複数の前記イベントデータに基づいて、複数の画素の各々に発生しているイベントの数を計数し、複数の画素の各々に発生しているイベントの数の計数結果に基づいて、第１数個の画素を抽出するステップと、
前記抽出するステップで抽出した第１数個の前記画素に基づいて、第１数個の前記画素の各々について、局所反応を作成するステップと、
第１数個の前記画素の各々について前記局所反応を作成するステップで作成した前記局所反応に基づいて局所振幅及び局所位相を導出し、前記局所反応と前記局所振幅と前記局所位相とガウシアンカーネルから空間的にぼかされた位相信号を導出するステップと、
前記導出するステップで導出した空間的にぼかされた前記位相信号に基づいて音を復元するステップと
を有する、情報処理システムが実行する情報処理方法。
【請求項１０】
コンピュータに、
振動しているターゲットを撮影したイベントデータを複数受け付けるステップと、
前記受け付けるステップで受け付けた複数の前記イベントデータに基づいて、複数の画素の各々に発生しているイベントの数を計数し、複数の画素の各々に発生しているイベントの数の計数結果に基づいて、第１数個の画素を抽出するステップと、
前記抽出するステップで抽出した第１数個の前記画素に基づいて、第１数個の前記画素の各々について、局所反応を作成するステップと、
第１数個の前記画素の各々について前記局所反応を作成するステップで作成した前記局所反応に基づいて局所振幅及び局所位相を導出し、前記局所反応と前記局所振幅と前記局所位相とガウシアンカーネルから空間的にぼかされた位相信号を導出するステップと、
前記導出するステップで導出した空間的にぼかされた前記位相信号に基づいて音を復元するステップと
を実行させる、プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、情報処理システム、情報処理方法及びプログラムに関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
ビジュアルマイクロフォンとは、物体の微細な振動をカメラで撮影し画像処理を行うことで物体の振動、すなわち物体が発する音や物体周辺の音をマイクなしで記録する（例えば非特許文献１参照）。物体の振動から音を取得するため、通常のマイクと比べて非常に鋭い指向性と遠方からの音の記録が可能である。
物体の振動から音を取得する技術に関して、イベントカメラを用いたものが知られている（例えば非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００３】
ＡｂｅＤａｖｉｓ；ＭｉｃｈａｅｌＲｕｂｉｎｓｔｅｉｎ；ＮｅａｌＷａｄｈｗａ；ＧａｕｔｈａｍＪ．Ｍｙｓｏｒｅ；Ｆｒ´ｅｄｏＤｕｒａｎｄ；ａｎｄＷｉｌｌｉａｍＴ．Ｆｒｅｅｍａｎ，“ＴｈｅＶｉｓｕａｌＭｉｃｒｏｐｈｏｎｅ：ＰａｓｓｉｖｅＲｅｃｏｖｅｒｙｏｆＳｏｕｎｄｆｒｏｍＶｉｄｅｏ”，Ｊｕｌｙ２０１４，ＡｒｔｉｃｌｅＮｏ．：７９，ｐｐ１－１０
ＣｈａｒｌｅｓＤｏｒｎ；ＳｕｄｅｅｐＤａｓａｒｉ；ＹｏｎｇｃｈａｏＹａｎｇ；Ａ．Ｍ．ＡＳＣＥ；ＣｈａｒｌｅｓＦａｒｒａｒ；ＧａｒｒｅｔｔＫｅｎｙｏｎ；ＰａｕｌＷｅｌｃｈ；ａｎｄＤａｖｉｄＭａｓｃａｒｅｎａｓ，“ＥｆｆｉｃｉｅｎｔＦｕｌｌ－ＦｉｅｌｄＶｉｂｒａｔｉｏｎＭｅａｓｕｒｅｍｅｎｔｓａｎｄＯｐｅｒａｔｉｏｎａｌＭｏｄａｌＡｎａｌｙｓｉｓＵｓｉｎｇＮｅｕｒｏｍｏｒｐｈｉｃＥｖｅｎｔ－ＢａｓｅｄＩｍａｇｉｎｇ”，Ｊ．Ｅｎｇ．Ｍｅｃｈ．，２０１８，１４４（７）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ビジュアルマイクロフォン、例えばハイスピードカメラを使用したものは記録できる音の周波数帯域が狭く、必要な装置が高価であり、計算コストが高い。レーザー光を用いたものは安全性が懸念される。
イベントカメラを用いたものは、物体の明るさの変化を記録することで振動が撮影される。イベントカメラは、従来のカメラと比較して、扱うデータ量が小さく、高速撮影、高速データ伝送が可能であり、装置も安価である。ただし、イベントカメラを用いた場合に、計算コストをさらに低くできる余地がある。
【０００５】
本発明の目的は、音を復元することができる情報処理システム、情報処理方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明の一実施形態は、振動しているターゲットを撮影したイベントデータを複数受け付ける受付部と、前記受付部が受け付けた複数の前記イベントデータに基づいて、複数の画素の各々に発生しているイベントの数を計数し、複数の画素の各々に発生しているイベントの数の計数結果に基づいて、第１数個の画素を抽出する抽出部と、前記抽出部が抽出した第１数個の前記画素に基づいて、第１数個の前記画素の各々について、局所反応を作成する作成部と、第１数個の前記画素の各々について前記作成部が作成した前記局所反応に基づいて局所振幅及び局所位相を導出し、前記局所反応と前記局所振幅と前記局所位相とガウシアンカーネルとから空間的にぼかされた位相信号を導出する導出部と、前記導出部が導出した空間的にぼかされた前記位相信号に基づいて音を復元する復元部とを備える、情報処理システムである。
【０００７】
本発明の一実施形態は、前述の情報処理システムにおいて、前記第１数は、前記受付部が受け付けた複数のイベントデータでイベントが発生しているとされる画素の数未満である。
【０００８】
本発明の一実施形態は、前述の情報処理システムにおいて、前記抽出部は、複数の画素の各々に発生しているイベントの数の計数結果に基づいて、発生しているイベントの数が多い方から第１数個の画素を抽出する。
【０００９】
本発明の一実施形態は、前述の情報処理システムにおいて、前記ターゲットが振動している方向を検出する検出部をさらに備え、前記作成部は、前記検出部が検出した前記ターゲットの局所反応を作成する。
【００１０】
本発明の一実施形態は、前述の情報処理システムにおいて、前記ターゲットが振動している方向を入力する入力部をさらに備え、前記作成部は、前記入力部が入力した前記ターゲットの局所反応を作成する。
（【００１１】以降は省略されています）

関連特許