特許ウォッチ

公開番号2024041231
公報種別公開特許公報(A)
公開日2024-03-27
出願番号2022145924
出願日2022-09-14
発明の名称表示端末、プログラム
出願人日本放送協会
代理人個人,個人
主分類G06F 3/01 20060101AFI20240319BHJP(計算;計数)
要約【課題】表示端末が複数の情報を表示している場合に、ユーザーがどの情報を注視したかを簡易に推定する表示端末及びプログラムを提供する。
【解決手段】外部から取得した情報を表示する表示端末10は、表示端末の画面側に配置された撮影手段によりユーザーを撮影する表情撮影部30と、表情撮影部が撮影したユーザーの顔画像から視線方向を推定する視線推定部28と、表示端末が画面に表示した複数の情報に順番を付与する順番付与部27と、複数の情報を表示する画面に前記視線方向が向いている第一の時間及び順番に基づいて、複数の情報のうち注視済みの情報を推定する情報管理部26と、情報管理部が注視済みと推定した情報を別の情報に差し替えて複数の情報を表示する情報画面表示部22と、を有する。
【選択図】図9
特許請求の範囲【請求項１】
外部から取得した情報を表示する表示端末であって、
前記表示端末の画面側に配置された撮影手段によりユーザーを撮影する表情撮影部と、
前記表情撮影部が撮影した前記ユーザーの顔画像から視線方向を推定する視線推定部と、
前記表示端末が画面に表示した複数の情報に順番を付与する順番付与部と、
前記複数の情報を表示する前記画面に前記視線方向が向いている第一の時間及び前記順番に基づいて、前記複数の情報のうち注視済みの前記情報を推定する情報管理部と、
前記情報管理部が注視済みと推定した前記情報を別の情報に差し替えて複数の情報を表示する情報画面表示部と、
を有することを特徴とする表示端末。
続きを表示（約 1,400 文字）【請求項２】
前記順番付与部は、前記表示端末が前記画面に表示した複数の情報の顕著性が高い順に、前記順番を付与することを特徴とする請求項１に記載の表示端末。
【請求項３】
前記順番付与部は、前記表示端末が前記画面に表示した複数の情報の配置に基づいて前記順番を付与することを特徴とする請求項１に記載の表示端末。
【請求項４】
前記情報管理部は、ユーザーが１つの前記情報を注視するために要する第二の時間で前記第一の時間を除算した数を求め、
前記数と同じ前記順番までの前記情報が注視されたと推定することを特徴とする請求項１～３のいずれか１項に記載の表示端末。
【請求項５】
前記第二の時間は、前記表示端末が設置された場所に応じて予め設定されており、
前記情報管理部は、前記第二の時間で前記第一の時間を除算した数を求め、前記数と同じ前記順番までの前記情報が注視されたと推定することを特徴とする請求項４に記載の表示端末。
【請求項６】
前記ユーザーを識別するユーザー識別部を有し、
前記第二の時間は、前記表示端末が設置された場所及び前記ユーザーに応じて予め設定されており、
前記情報管理部は、前記第二の時間で前記第一の時間を除算した数を求め、前記数と同じ前記順番までの前記情報が注視されたと推定することを特徴とする請求項４に記載の表示端末。
【請求項７】
前記ユーザーが携帯するユーザー端末に、注視されたと推定された前記情報を送信し、
前記ユーザー端末から前記情報を閲覧した旨を受信した場合、
前記情報管理部は、前記ユーザー及び前記場所に対応付けられている前記第二の時間を大きくすることを特徴とする請求項６に記載の表示端末。
【請求項８】
所定のタイミングまでに、前記ユーザー端末から前記情報を閲覧した旨を受信しない場合、
前記情報管理部は、前記ユーザー及び前記場所に対応付けられている前記第二の時間を小さくすることを特徴とする請求項７に記載の表示端末。
【請求項９】
前記視線方向が前記画面の方向を向いてから、前記視線方向が前記画面の方向でなくなるまでをセッションとして管理するセッション管理部を有し、
前記セッションが終了するごとに、前記情報管理部が注視された前記情報を推定し、
前記情報画面表示部は、前記セッションが終了したことを契機に、注視されたと推定した前記情報を別の情報に差し替えて複数の情報を表示することを特徴とする請求項１に記載の表示端末。
【請求項１０】
外部から取得した情報を表示する表示端末を、
前記表示端末の画面側に配置された撮影手段によりユーザーを撮影する表情撮影部と、
前記表情撮影部が撮影した前記ユーザーの顔画像から視線方向を推定する視線推定部と、
前記表示端末が画面に表示した複数の情報に順番を付与する順番付与部と、
前記複数の情報を表示する前記画面に前記視線方向が向いている第一の時間及び前記順番に基づいて、前記複数の情報のうち注視済みの前記情報を推定する情報管理部と、
前記情報管理部が注視済みと推定した前記情報を別の情報に差し替えて複数の情報を表示する情報画面表示部、
として機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、表示端末、及びプログラムに関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
タブレットやＰＣ等の表示端末が有するディスプレイにニュースサイトを表示させ、ユーザーが閲覧することは少なくない。図１は、各種の表示端末１０が表示するニュースサイトの画面例を示す。図１では、タブレットが表示するニュースサイト、及び、スマートミラーが表示するニュースサイトが示されている。図１に示すように、一般的なニュースサイトの構成の１つに、複数のニュースのサムネイル画像やタイトルなど概要を一覧表示する画面（以下、ニュース一覧画面２０１という）と、個別のニュース詳細を表示する画面（以下、ニュース詳細画面）の２画面による構成がある。ユーザーがニュース一覧画面２０１でニュースのタイトル等をタップすると、ニュース一覧画面２０１がニュース詳細画面２０２に遷移する。
【０００３】
図２は、タイル状の構成のニュースサイトにおける、ユーザーの典型的な行動を説明する図である。始めに、図２（ａ）に示すニュース一覧画面２０１で各ニュース概要をチェックし、どのようなニュースがあるかを把握する。次に、個別のニュースについてより詳しく知りたいと感じた場合、ニュースのタイトル等をタップしてニュース詳細画面２０２（図２（ｂ））に遷移し、ニュース詳細を確認する。ユーザーが個別のニュース概要をタップした場合、多くの場合において、ユーザーはそのニュース概要をチェック済みであると推定できる。
【０００４】
一方、タップしなかった場合、ユーザーがそのニュース概要をチェック済みであるか否かを判断することは困難である。これは、ユーザーがタップをしなかった場合、その理由として、例えば以下の２つが考えらえるためである。
１．ユーザーがニュース概要をチェック（注視）していない。
２．ユーザーがニュース概要をチェック（注視）したが、ニュース詳細画面を見ようと思わなかった。
【０００５】
図３は、ニュース概要に対するユーザーのタップの有無に基づいて得られる情報を説明する図である。図３（ａ）では、特定のニュース概要がタップ操作等により選択されている。したがって、ユーザーはこのニュース概要をチェック済みの可能性が高い。一方、ユーザーがタップしてないがチェック済みのニュース概要も存在する。ユーザーがタップしてないがチェック済みのニュースは、ユーザーが興味なく、配信する必要性が低いニュースである。しかし、ユーザーがタップしておらず、かつ、チェック済みでもないニュースは、ユーザーが興味あるかもしれず、表示端末１０としては今後も表示する必要性がある。このようにニュースをチェック済みか否か判断することで、表示端末１０は限られた画面を有効に活用でき、チェック済みのニュース概要がいつまでも表示されることを抑制できる。
【０００６】
ユーザーによるタップの有無以外の方法でユーザーが当該ニュース概要をチェック済みか否か推定する方法として、視線計測装置を用いてユーザーの注視点を計測する方法が考えられる。視線方向を高精度に検出する装置としては、装着型の視線計測装置が知られている（例えば、非特許文献１参照。）。非特許文献１には、ユーザーが両目に装着するタイプの視線計測装置が開示されている。
【先行技術文献】
【非特許文献】
【０００７】
トビー・テクノロジー株式会社、tobiipro、製品一覧、［online］、２０２２年８月１６日、インターネット＜URL：https://www.tobiipro.com/ja/＞
Satya Mallick 、LearnOpenCV、Head Pose Estimation using OpenCV and Dlib、［online］、２０２２年８月１６日、インターネット＜URL：https://learnopencv.com/head－pose－estimation－using－opencv－and－dlib/＞
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、装着型の視線計測装置を生活中に装着し続けるのはユーザーの負担が大きいという問題がある。図４は、装着型の視線計測装置９の一例を示す。図４に示すように、装着型の視線計測装置９は高精度だが、ユーザーの視界の邪魔になったりかけ忘れたり、故障したりするなど、日常的に使用することには向かない。また、非接触型の視線計測装置もあるが、一般的に視線方向の推定精度が装着型のそれと比べて低い。そのため、ディスプレイ上に複数のニュース概要が一覧表示されている場合、非接触型の視線計測装置は、その中のいずれのニュース概要に視線を合わせたかを推定することは困難である。
【０００９】
本発明は、上記課題に鑑み、表示端末が複数の情報を表示している場合に、ユーザーがどの情報を注視したかを簡易に推定することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題に鑑み、本発明は、外部から取得した情報を表示する表示端末であって、前記表示端末の画面側に配置された撮影手段によりユーザーを撮影する表情撮影部と、前記表情撮影部が撮影した前記ユーザーの顔画像から視線方向を推定する視線推定部と、前記表示端末が画面に表示した複数の情報に順番を付与する順番付与部と、前記複数の情報を表示する前記画面に前記視線方向が向いている第一の時間及び前記順番に基づいて、前記複数の情報のうち注視済みの前記情報を推定する情報管理部と、前記情報管理部が注視済みと推定した前記情報を別の情報に差し替えて複数の情報を表示する情報画面表示部と、を有することを特徴とする。
【発明の効果】
（【００１１】以降は省略されています）

関連特許