特許ウォッチ

公開番号2024017905
公報種別公開特許公報(A)
公開日2024-02-08
出願番号2022120857
出願日2022-07-28
発明の名称触覚提示装置及びプログラム
出願人日本放送協会
代理人個人
主分類H04R 1/00 20060101AFI20240201BHJP(電気通信技術)
要約【課題】視聴者が映像を視聴する際に、没入感向上に寄与する触覚刺激を提示するための情報を生成する。
【解決手段】触覚提示装置1の映像解析部11は、映像Eをサンプリングして時系列の複数のフレームを取得し、複数のフレームのそれぞれについて、1または複数の物体の矩形座標を検出し、面積が最大の物体の矩形データv(矩形中心の移動量v₁(n)、矩形面積v₂(n)及び矩形拡大率v₃(n))を算出し、最大矩形データv_maxを抽出し、矩形データv及び最大矩形データv_maxに基づいて音量増幅量a(n)を算出する。音量制御部12は、映像Eから低周波音声信号S等を抽出し、低周波音声信号Sの音量Aに音量増幅量a(n)を乗算することで、音量Aを増幅した新たな低周波音声信号S’を生成する。触覚提示部13は、低周波音声信号S’を触覚デバイス7へ出力する。
【選択図】図1
特許請求の範囲【請求項１】
映像から低周波音声信号を抽出し、前記低周波音声信号に基づいて、前記映像の視聴者に対し触覚デバイスを介して触覚刺激を提示するための情報を生成する触覚提示装置において、
前記映像に含まれる時系列の複数のフレームのそれぞれについて、所定のＮＮ（ニューラルネットワーク）を用いて物体を検出し、前記物体の移動量、面積及び拡大率のうち少なくとも１つのデータを算出し、前記少なくとも１つのデータに基づいて音量増幅量を算出する映像解析部と、
前記映像から前記低周波音声信号を抽出し、前記映像解析部により算出された前記フレームについての前記音量増幅量に基づいて、前記フレームに対応する前記低周波音声信号の音量を増幅する音量制御部と、
前記音量制御部により前記音量が増幅された前記低周波音声信号を、前記触覚デバイスへ出力する触覚提示部と、
を備えたことを特徴とする触覚提示装置。
続きを表示（約 2,300 文字）【請求項２】
請求項１に記載の触覚提示装置において、
前記映像解析部は、
前記複数のフレームのそれぞれについて、前記所定のＮＮを用いて前記物体を検出し、前記物体の移動量、面積及び拡大率を算出し、前記物体の移動量、面積及び拡大率に基づいて前記音量増幅量を算出する、ことを特徴とする触覚提示装置。
【請求項３】
請求項２に記載の触覚提示装置において、
前記映像解析部は、
前記映像を、所定間隔にて時系列の複数のフレームにサンプリングするフレームサンプリング処理部と、
前記フレームサンプリング処理部によりサンプリングされた前記複数のフレームのそれぞれについて、前記所定のＮＮを用いて１または複数の物体を検出し、物体毎に当該物体を含む矩形座標を推定する物体検出処理部と、
前記複数のフレームのそれぞれについて、前記物体検出処理部により推定された前記物体毎の矩形座標に基づいて、前記１または複数の物体のうち面積が最大の物体を選定し、前記最大の物体につき、当該フレームを含む所定数のフレームにおける当該物体の矩形座標に基づいて、当該物体の移動量に関する第１の矩形データ、当該物体の面積に関する第２の矩形データ及び当該物体の拡大率に関する第３の矩形データを算出する矩形算出部と、
前記複数のフレームにおける前記矩形算出部により算出された前記第１の矩形データ、前記第２の矩形データ及び前記第３の矩形データから、それぞれ第１の矩形データの最大値、第２の矩形の最大値及び第３の矩形データの最大値を抽出する最大値抽出部と、
前記矩形算出部により算出された前記第１の矩形データ、前記第２の矩形データ及び前記第３の矩形データを、前記最大値抽出部により抽出された前記第１の矩形データの最大値、前記第２の矩形データの最大値及び前記第３の矩形データの最大値でそれぞれ正規化し、正規化後の第１の矩形データ、第２の矩形データ及び第３の矩形データを重み付けすることで、前記音量増幅量を算出する音量増幅量算出部と、
を備えたことを特徴とする触覚提示装置。
【請求項４】
請求項２に記載の触覚提示装置において、
前記映像解析部は、
前記映像を、所定間隔にて時系列の複数のフレームにサンプリングするフレームサンプリング処理部と、
前記フレームサンプリング処理部によりサンプリングされた前記複数のフレームのそれぞれについて、前記所定のＮＮを用いて１または複数の物体を検出し、物体毎に当該物体を含む矩形座標を推定する物体検出処理部と、
前記複数のフレームのそれぞれについて、前記物体検出処理部により推定された前記物体毎の矩形座標に基づいて、前記１または複数の物体のうち面積が最大の物体を選定し、前記最大の物体につき、当該フレームを含む所定数のフレームにおける当該物体の矩形座標に基づいて、当該物体の移動量に関する第１の矩形データ、当該物体の面積に関する第２の矩形データ及び当該物体の拡大率に関する第３の矩形データを算出する矩形算出部と、
前記矩形算出部により算出された前記第１の矩形データ、前記第２の矩形データ及び前記第３の矩形データを、前記第１の矩形データの予め設定された最大値、前記第２の矩形データの予め設定された最大値及び前記第３の矩形データの予め設定された最大値でそれぞれ正規化し、正規化後の第１の矩形データ、第２の矩形データ及び第３の矩形データを重み付けすることで、前記音量増幅量を算出する音量増幅量算出部と、
を備えたことを特徴とする触覚提示装置。
【請求項５】
請求項１から４までのいずれか一項に記載の触覚提示装置において、
前記音量制御部は、
前記映像から、前記低周波音声信号、映像信号、及び前記低周波音声信号以外の音声信号を抽出する低周波音声抽出部と、
前記映像解析部により算出された前記フレームについての前記音量増幅量を、前記フレームに対応する前記低周波音声抽出部により抽出された前記低周波音声信号に乗算し、新たな低周波音声信号を生成する音量増幅制御部と、
前記音量増幅制御部により生成された前記新たな低周波音声信号、前記低周波音声抽出部により抽出された前記映像信号、及び前記低周波音声信号以外の音声信号を合成し、音量制御済映像を求める合成部と、
前記触覚提示部は、
前記合成部により求めた前記音量制御済映像から、前記新たな低周波音声信号を抽出し、前記新たな低周波音声信号を前記触覚デバイスへ出力する、ことを特徴とする触覚提示装置。
【請求項６】
映像から低周波音声信号を抽出し、前記低周波音声信号に基づいて、前記映像の視聴者に対し触覚デバイスを介して触覚刺激を提示するための情報を生成する触覚提示装置を構成するコンピュータを、
前記映像に含まれる時系列の複数のフレームのそれぞれについて、所定のＮＮ（ニューラルネットワーク）を用いて物体を検出し、前記物体の移動量、面積及び拡大率のうち少なくとも１つのデータを算出し、前記少なくとも１つのデータに基づいて音量増幅量を算出する映像解析部、
前記映像から前記低周波音声信号を抽出し、前記映像解析部により算出された前記フレームについての前記音量増幅量に基づいて、前記フレームに対応する前記低周波音声信号の音量を増幅する音量制御部、及び、
前記音量制御部により前記音量が増幅された前記低周波音声信号を、前記触覚デバイスへ出力する触覚提示部として機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、映像の視聴者に対し触覚デバイスを介して触覚刺激を提示するための情報を生成する触覚提示装置及びプログラムに関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
従来、映像は主として視覚及び聴覚に関するメディアであるが、第三の感覚として触覚刺激を提示する技術が注目を浴びている。例えば、音楽と連動した触覚刺激を提示する仕組みを椅子に設けた体感音響システムが知られており、また、音を振動に変換する触覚デバイスも知られている。
【０００３】
具体的には、この体感音響システムは、椅子に振動子を組み込んでおき、音楽から低音成分を抽出し、振動子により低音成分を振動の触覚情報に変換することで、音楽の聴取者に対し振動の触覚刺激を提示するものである（例えば特許文献１を参照）。
【０００４】
また、振動子を椅子に組み込んだ体感音響システムの他、テーマパーク、映画館等において、従来の映像音声に加え、振動等の触覚刺激、及び移動感等の体性感覚刺激を提示する技術も知られている。また、放送通信連携サービスを用いることで、テレビ放送の映像音声に加え、収録した振動の触覚情報を通信経由で伝送する技術も知られている。
【０００５】
また、視覚的なディスプレイを用いるゲーム装置において、視的表示と共に、プレイヤーに対し体感を与える技術も知られている（例えば特許文献２を参照）。具体的には、このゲーム装置は、特定の視的表示のタイミングにて、ハイパワーアンプで増幅された信号を低域スピーカへ出力することで、低域スピーカにより、低域音源となる体感をプレイヤーへ提示するものである。
【０００６】
また、体感音響システムにおいて、長時間利用しても、視聴者に対し不快感または圧迫感を生じさせることのない技術が知られている（例えば特許文献３を参照）。具体的には、この体感音響システムは、背もたれ及び座部を有するシートと、入力された音声信号を帯域分割して第１の音声信号及び第２の音声信号を出力する帯域分割回路と、第１の音声信号に応じて振動すると共に、振動方向が背もたれのユーザ側表面に対して平行となるように、背もたれ内に配置された第１の振動素子と、第２の音声信号に応じて振動すると共に、振動方向が座部のユーザ側表面に対して平行となるように、座部内に配置された第２の振動素子とを有するものである。
【０００７】
このように、映像を視聴しているときに、視覚及び聴覚に加え、第三の感覚である触覚にも刺激を与えることにより、より没入感及び臨場感の高い映像視聴を実現することができる。つまり、音声信号を入力して触覚情報に変換し、連続的に触覚刺激を提示することにより、映像コンテンツへの没入感及び臨場感を高めることができる。
【０００８】
このような音声信号を触覚情報に変換し、触覚刺激を視聴者へ提示する試みは、以前から行われている。以下、音声信号を入力して触覚情報に変換し、触覚刺激を提示する方式を「音声入力方式」という。
【０００９】
この「音声入力方式」の例として、いす型触覚提示システムがある。このいす型触覚提示システムは、フレキシブルディスプレイにより１８０度の視野角に表示したトラム等の車両の映像に連動し、いす型触覚デバイスが、音声信号を触覚情報に変換して触覚刺激を提示する。これにより、フレキシブルディスプレイに表示された映像からの視覚刺激、並びにいすの座面及び足元からの振動の触覚刺激にて、高い没入感を得ることができる。
【先行技術文献】
【特許文献】
【００１０】
特開平３－１０２４９９号公報
特開平６－３３９５７６号公報
特開２００８－１４１４７７号公報
【発明の概要】
【発明が解決しようとする課題】
（【００１１】以降は省略されています）

関連特許