特許ウォッチ

公開番号2024037337
公報種別公開特許公報(A)
公開日2024-03-19
出願番号2022142114
出願日2022-09-07
発明の名称刺激情報生成装置及びプログラム
出願人日本放送協会
代理人個人
主分類G06F 3/01 20060101AFI20240312BHJP(計算;計数)
要約【課題】ユーザが静的なコンテンツから情報を受ける際に、コンテンツの進行と同期し、かつ適切なタイミングで適切な刺激を提示することで、ユーザに対して豊かなメディア体験を提供する。
【解決手段】刺激情報生成装置1-1のユーザ動作設定部11-1は、対象コンテンツに対する所定数のユーザの注視点に基づきターゲット領域を設定し、サンプルコンテンツに対する対象ユーザの注視点に基づき、注視点の滞留時間の平均値をトリガ時間として求める。刺激設定部12は、ターゲット領域に対する刺激種類、強さ等を設定し、刺激生成ルールを生成する。刺激情報生成部30-1は、対象コンテンツに対する対象ユーザの注視点がターゲット領域内にあり、かつトリガ時間を経過したときに、刺激生成ルールから、当該ターゲット領域に対応する刺激種類及び強さ等を含む刺激情報を生成する。そして、刺激情報に応じた刺激が対象ユーザへ提示される。
【選択図】図1
特許請求の範囲【請求項１】
静的なコンテンツから情報を受けるユーザの操作に従って前記コンテンツが進行する際に、前記ユーザに対して刺激を提示するための刺激情報を生成し、前記刺激情報を刺激提示装置へ出力する刺激情報生成装置において、
前記コンテンツに対する前記ユーザの注視点が滞留する領域であって、かつ前記コンテンツの内容を描写した所定領域をターゲット領域とし、前記刺激が提示される前記ユーザを対象ユーザとし、前記対象ユーザの操作に従って進行する前記コンテンツを対象コンテンツとして、
前記ユーザの視線を計測する視線計測装置から、所定数のユーザが前記対象コンテンツを見ているときの視線データをそれぞれ入力し、前記所定数のユーザの前記視線データの示すそれぞれの注視点の軌跡及び前記所定領域に基づいて、複数のターゲット領域を求め、前記複数のターゲット領域の位置を複数のターゲット領域位置データとして設定し、
前記視線計測装置から、前記対象ユーザが前記対象コンテンツ以外のサンプルコンテンツを見ているときの視線データを入力し、前記視線データの示す注視点の軌跡に基づいて、前記注視点の滞留時間をトリガ時間として設定し、
前記複数のターゲット領域位置データ及び前記トリガ時間を第１ＤＢに格納するユーザ動作設定部と、
前記複数のターゲット領域のそれぞれについて、当該ターゲット領域に対応する刺激種類及び強さを設定し、前記刺激種類及び強さを第２ＤＢに格納する刺激設定部と、
前記視線計測装置から、前記対象ユーザが前記対象コンテンツを見ているときの視線データを入力すると共に、前記第１ＤＢから前記複数のターゲット領域位置データ及び前記トリガ時間を読み出し、前記第２ＤＢから前記複数のターゲット領域のそれぞれについての前記刺激種類及び強さを読み出し、
前記視線データの示す注視点が前記ターゲット領域内にあり、かつ前記注視点の前記ターゲット領域内にある時間が前記トリガ時間を経過したことの条件を判定し、前記条件を満たすと判定したときに、前記ターゲット領域に対応する前記刺激種類及び強さを含む前記刺激情報を生成し、前記刺激情報を前記刺激提示装置へ出力する刺激情報生成部と、
を備えたことを特徴とする刺激情報生成装置。
続きを表示（約 5,100 文字）【請求項２】
請求項１に記載の刺激情報生成装置において、
前記ユーザ動作設定部は、
前記所定数のユーザのそれぞれについて、当該ユーザの前記視線データの示す注視点の軌跡に基づいて、前記注視点の滞留するエリアを求め、
前記所定数のユーザにおける前記注視点の滞留する全てのエリアを包含する領域であって、かつ前記所定領域を前記複数のターゲット領域として求めるか、または、前記所定数のユーザのそれぞれについて求めた前記注視点の滞留する全てのエリアを前記所定数のユーザにて平均化し、前記平均化したエリアであって、かつ前記所定領域を前記複数のターゲット領域として求め、前記複数のターゲット領域位置データを前記第１ＤＢに格納する、ことを特徴とする刺激情報生成装置。
【請求項３】
請求項１に記載の刺激情報生成装置において、
前記ユーザ動作設定部は、
前記対象ユーザの前記視線データの示す注視点に基づいて、前記注視点が滞留する複数の領域における複数の滞留時間を算出し、前記複数の滞留時間から平均値を算出し、前記平均値を前記トリガ時間に設定し、前記トリガ時間を前記第１ＤＢに格納する、ことを特徴とする刺激情報生成装置。
【請求項４】
静的なコンテンツから情報を受けるユーザの操作に従って前記コンテンツが進行する際に、前記ユーザに対して刺激を提示するための刺激情報を生成し、前記刺激情報を刺激提示装置へ出力する刺激情報生成装置において、
前記コンテンツに対する前記ユーザの注視点が滞留する領域であって、かつ前記コンテンツの内容を描写した所定領域をターゲット領域とし、前記刺激が提示される前記ユーザを対象ユーザとし、前記対象ユーザの操作に従って進行する前記コンテンツを対象コンテンツとして、
前記ユーザの視線を計測する視線計測装置から、所定数のユーザが前記対象コンテンツを見ているときの視線データをそれぞれ入力し、前記所定数のユーザの前記視線データの示すそれぞれの注視点の軌跡及び前記所定領域に基づいて、複数のターゲット領域を求め、前記複数のターゲット領域の位置を複数のターゲット領域位置データとして設定し、前記対象コンテンツにおけるコマ毎の文字数を設定し、
前記視線計測装置から、前記対象ユーザが前記対象コンテンツ以外のサンプルコンテンツを見ているときの視線データを入力し、前記視線データの示す注視点の軌跡及び前記文字数に基づいて、前記対象ユーザが文字を読む際の読字速度を算出し、前記視線データの示す注視点の軌跡に基づいて、前記対象ユーザの注視点の移動速度を算出し、
前記複数のターゲット領域位置データ、前記コマ毎の文字数、前記読字速度及び前記移動速度に基づいて、前記対象コンテンツを構成する複数のページのそれぞれにつき、前記対象ユーザの注視点が当該ページに含まれる複数のターゲット領域のそれぞれに到達する到達時間を算出し、前記到達時間を第１ＤＢに格納するユーザ動作設定部と、
前記複数のターゲット領域のそれぞれについて、当該ターゲット領域に対応する刺激種類及び強さを設定し、前記刺激種類及び強さを第２ＤＢに格納する刺激設定部と、
前記第１ＤＢから、前記対象コンテンツのページ毎に、当該ページに含まれる複数のターゲット領域のそれぞれについての前記到達時間を読み出し、前記第２ＤＢから前記複数のターゲット領域のそれぞれについての前記刺激種類及び強さを読み出し、
前記ページ毎に、当該ページがめくられてからの経過時間をカウントし、前記経過時間が前記到達時間に到達したことの条件を判定し、前記条件を満たすと判定したときに、前記到達時間の前記ターゲット領域に対応する前記刺激種類及び強さを含む前記刺激情報を生成し、前記刺激情報を前記刺激提示装置へ出力する刺激情報生成部と、
を備えたことを特徴とする刺激情報生成装置。
【請求項５】
請求項４に記載の刺激情報生成装置において、
前記ユーザ動作設定部は、
前記対象ユーザの前記視線データの示す注視点が、第１のターゲット領域から第２のターゲット領域へ移動した場合に、前記第１のターゲット領域から前記第２のターゲット領域までの間の距離を、前記第１のターゲット領域から前記第２のターゲット領域への移動時間で除算することで、前記移動速度を求める、ことを特徴とする刺激情報生成装置。
【請求項６】
請求項４に記載の刺激情報生成装置において、
前記ユーザ動作設定部は、
前記読字速度をＶ
C
、前記移動速度をＶ
L
、ｎコマ目の文字数をＣ
n
、ｎコマ目の前記ターゲット領域の中心位置を（Ｐ
xn
,Ｐ
yn
）、前記対象ユーザがｎコマ目を読み始めてから前記注視点が次のｎ＋１コマ目の前記ターゲット領域へ移動するまでの時間をＴ
n
、前記到達時間をＴＴ
n
として、
前記読字速度Ｖ
C
、前記移動速度Ｖ
L
、前記ｎコマ目の文字数Ｃ
n
、ｎコマ目の前記ターゲット領域の中心位置（Ｐ
xn
,Ｐ
yn
）及びｎ＋１コマ目の前記ターゲット領域の中心位置（Ｐ
xn+1
,Ｐ
yn+1
）を用いて、式：
TIFF
2024037337000006.tif
21
170
により、前記時間Ｔ
n
を算出し、前記時間Ｔ
n
を用いて、式：
TIFF
2024037337000007.tif
23
170
により、前記到達時間ＴＴ
n
を算出する、ことを特徴とする刺激情報生成装置。
【請求項７】
請求項１または４に記載の刺激情報生成装置において、
さらに、オノマトペ及び音声データを組とした複数の組データが格納された音声ＤＢを備え、
前記刺激設定部は、
前記ターゲット領域に対応する前記刺激種類として振動が設定される場合に、当該ターゲット領域を振動ターゲット領域として、
前記音声ＤＢから、前記振動ターゲット領域を含むコマに存在するオノマトペに対応する音声データを選択し、前記刺激種類である振動及び強さ並びに前記音声データを前記第２ＤＢに格納し、
前記刺激情報生成部は、
前記第２ＤＢから、前記刺激種類である振動及び強さ並びに前記音声データを読み出し、前記振動ターゲット領域について、前記条件を満たすと判定したときに、前記振動ターゲット領域に対応する前記刺激種類である振動及び強さ並びに前記音声データを含む前記刺激情報を生成し、前記刺激情報を、前記強さ及び前記音声データに応じて振動子が動作する前記刺激提示装置へ出力する、ことを特徴とする刺激情報生成装置。
【請求項８】
静的なコンテンツから情報を受けるユーザの操作に従って前記コンテンツが進行する際に、前記ユーザに対して刺激を提示するための刺激情報を生成し、前記刺激情報を刺激提示装置へ出力する刺激情報生成装置を構成するコンピュータを、
前記コンテンツに対する前記ユーザの注視点が滞留する領域であって、かつ前記コンテンツの内容を描写した所定領域をターゲット領域とし、前記刺激が提示される前記ユーザを対象ユーザとし、前記対象ユーザの操作に従って進行する前記コンテンツを対象コンテンツとして、
前記ユーザの視線を計測する視線計測装置から、所定数のユーザが前記対象コンテンツを見ているときの視線データをそれぞれ入力し、前記所定数のユーザの前記視線データの示すそれぞれの注視点の軌跡及び前記所定領域に基づいて、複数のターゲット領域を求め、前記複数のターゲット領域の位置を複数のターゲット領域位置データとして設定し、
前記視線計測装置から、前記対象ユーザが前記対象コンテンツ以外のサンプルコンテンツを見ているときの視線データを入力し、前記視線データの示す注視点の軌跡に基づいて、前記注視点の滞留時間をトリガ時間として設定し、
前記複数のターゲット領域位置データ及び前記トリガ時間を第１ＤＢに格納するユーザ動作設定部、
前記複数のターゲット領域のそれぞれについて、当該ターゲット領域に対応する刺激種類及び強さを設定し、前記刺激種類及び強さを第２ＤＢに格納する刺激設定部、及び、
前記視線計測装置から、前記対象ユーザが前記対象コンテンツを見ているときの視線データを入力すると共に、前記第１ＤＢから前記複数のターゲット領域位置データ及び前記トリガ時間を読み出し、前記第２ＤＢから前記複数のターゲット領域のそれぞれについての前記刺激種類及び強さを読み出し、
前記視線データの示す注視点が前記ターゲット領域内にあり、かつ前記注視点の前記ターゲット領域内にある時間が前記トリガ時間を経過したことの条件を判定し、前記条件を満たすと判定したときに、前記ターゲット領域に対応する前記刺激種類及び強さを含む前記刺激情報を生成し、前記刺激情報を前記刺激提示装置へ出力する刺激情報生成部として機能させるためのプログラム。
【請求項９】
静的なコンテンツから情報を受けるユーザの操作に従って前記コンテンツが進行する際に、前記ユーザに対して刺激を提示するための刺激情報を生成し、前記刺激情報を刺激提示装置へ出力する刺激情報生成装置を構成するコンピュータを、
前記コンテンツに対する前記ユーザの注視点が滞留する領域であって、かつ前記コンテンツの内容を描写した所定領域をターゲット領域とし、前記刺激が提示される前記ユーザを対象ユーザとし、前記対象ユーザの操作に従って進行する前記コンテンツを対象コンテンツとして、
前記ユーザの視線を計測する視線計測装置から、所定数のユーザが前記対象コンテンツを見ているときの視線データをそれぞれ入力し、前記所定数のユーザの前記視線データの示すそれぞれの注視点の軌跡及び前記所定領域に基づいて、複数のターゲット領域を求め、前記複数のターゲット領域の位置を複数のターゲット領域位置データとして設定し、前記対象コンテンツにおけるコマ毎の文字数を設定し、
前記視線計測装置から、前記対象ユーザが前記対象コンテンツ以外のサンプルコンテンツを見ているときの視線データを入力し、前記視線データの示す注視点の軌跡及び前記文字数に基づいて、前記対象ユーザが文字を読む際の読字速度を算出し、前記視線データの示す注視点の軌跡に基づいて、前記対象ユーザの注視点の移動速度を算出し、
前記複数のターゲット領域位置データ、前記コマ毎の文字数、前記読字速度及び前記移動速度に基づいて、前記対象コンテンツを構成する複数のページのそれぞれにつき、前記対象ユーザの注視点が当該ページに含まれる複数のターゲット領域のそれぞれに到達する到達時間を算出し、前記到達時間を第１ＤＢに格納するユーザ動作設定部、
前記複数のターゲット領域のそれぞれについて、当該ターゲット領域に対応する刺激種類及び強さを設定し、前記刺激種類及び強さを第２ＤＢに格納する刺激設定部、及び、
前記第１ＤＢから、前記対象コンテンツのページ毎に、当該ページに含まれる複数のターゲット領域のそれぞれについての前記到達時間を読み出し、前記第２ＤＢから前記複数のターゲット領域のそれぞれについての前記刺激種類及び強さを読み出し、
前記ページ毎に、当該ページがめくられてからの経過時間をカウントし、前記経過時間が前記到達時間に到達したことの条件を判定し、前記条件を満たすと判定したときに、前記到達時間の前記ターゲット領域に対応する前記刺激種類及び強さを含む前記刺激情報を生成し、前記刺激情報を前記刺激提示装置へ出力する刺激情報生成部として機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、静的なメディアコンテンツの進行に伴い、触覚情報等の刺激情報を生成する刺激情報生成装置及びプログラムに関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
テレビ及びインターネットには、様々な映像コンテンツが存在している。近年、ＡＲ／ＶＲ技術の発展と共に、映像コンテンツを楽しむ際の臨場感及び迫力をより向上させるために、触覚刺激及び嗅覚刺激を提示する手法に注目が集まっている。しかし、そのほとんどが、映像コンテンツの進行と同期して、触覚刺激及び嗅覚刺激を提示するものである。ユーザは、自動的に更新されていく動的な映像からの視覚刺激及び音声からの聴覚刺激を受動的に取得し、これらと連動した触覚刺激及び嗅覚刺激を受け取ることになる。
【０００３】
しかしながら、世の中にあるメディアは、映像コンテンツのように、提示される情報が提示装置上で自動的に更新されていく（変化していく）動的なものだけでなく、マンガ、小説、絵本等の書籍及びＷＥＢコンテンツ等の静的なコンテンツも数多く存在する。
【０００４】
このような静的なコンテンツから情報を受けるユーザは、自分のペースで手動にて更新することで、コンテンツを進行する。ここで、静的なコンテンツからの情報を更新するとは、静的なコンテンツが本の場合は、視線を動かす、ページをめくる等を意味し、ＷＥＢコンテンツの場合は、マウススクロールする等を意味する。
【０００５】
静的なコンテンツの例として、仕掛け絵本が知られている（例えば非特許文献１を参照）。この仕掛け絵本は、ユーザがホットケーキの絵を擦ることで、メイプルシロップの香りの嗅覚刺激を提示するものである。
【０００６】
このような仕掛け絵本を実現するために、絵本を擦ることで香りを発生させる香り印刷技術が知られている（例えば非特許文献２を参照）。しかし、この仕掛け絵本では、嗅覚刺激を受けるために、自然な読書では想定できない、擦るという意識的な動作が必要となる。
【０００７】
また、静的なコンテンツの例として、電子媒体上でコンテンツを楽しむ際に、所定の箇所をクリックすることで触覚刺激を提示する技術も知られている（例えば非特許文献３を参照）。しかし、このコンテンツも同様に、触覚刺激を受けるために、自然な読書では想定できない、クリックという意識的な動作が必要となる。
【０００８】
これに対し、静的なコンテンツの例として、擦る、クリック等の意識的な動作を行うことなく触覚刺激を提示する技術が知られている（例えば特許文献１，２を参照）。特許文献１，２の技術は、ユーザの視線を計測し、ユーザの見ている注視点に応じた触覚効果を生成し、触覚刺激をユーザへ提示するものである。
【０００９】
具体的には、特許文献１の技術は、画像を特定するためのメディアを解析し、画像を見ているユーザの視線の注視点を特定し、特定した画像及びユーザの注視点に基づいて、注視点のオブジェクト等に応じた触覚効果を生成し、触覚刺激をユーザへ提示する。
【００１０】
また、特許文献２の技術は、ユーザの視線方向を判定し、視線方向がインタラクト可能なオブジェクトを含む部分である場合、第１の触覚効果を生成し、視線方向がインタラクト可能なオブジェクトを含まない部分である場合、第２の触覚効果を生成し、第１または第２の触覚効果に応じた触覚刺激をユーザへ提示するものである。
【先行技術文献】
【特許文献】
（【００１１】以降は省略されています）

関連特許