特許ウォッチ

公開番号2024103522
公報種別公開特許公報(A)
公開日2024-08-01
出願番号2024079864,2021507159
出願日2024-05-16,2020-03-03
発明の名称情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体
出願人ソニーグループ株式会社
代理人弁理士法人南青山国際特許事務所
主分類G06F 3/0346 20130101AFI20240725BHJP(計算;計数)
要約【課題】視線を用いた選択操作の操作性を向上すること。
【解決手段】情報処理装置は、眼球情報取得部と、視線推定部と、表示制御部と、ジェスチャー情報取得部と、モード切替部とを具備する。眼球情報取得部は、第1のセンサからユーザの眼球の位置姿勢情報を取得する。視線推定部は、眼球の位置姿勢情報に基づいて視線ベクトルを推定する。表示制御部は、視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置を制御する。ジェスチャー情報取得部は、第2のセンサから眼球の位置姿勢情報とは異なるジェスチャー情報を取得する。モード切替部は、ガイド画像に関するユーザのモード切替入力に応じて、眼球の位置姿勢情報をガイド画像に反映する第1のモードと、ジェスチャー情報に基づいて注視状態を補正する第2のモードとを切り替える。
【選択図】図6
特許請求の範囲【請求項１】
第１のセンサからユーザの眼球の位置姿勢情報を取得する眼球情報取得部と、
前記眼球の位置姿勢情報に基づいて前記ユーザの視線ベクトルを推定する視線推定部と、
前記推定された視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置を制御する表示制御部と、
第２のセンサから前記眼球の位置姿勢情報とは異なる前記ユーザのジェスチャー情報を取得するジェスチャー情報取得部と、
前記ガイド画像に関する前記ユーザのモード切替入力に応じて、前記眼球の位置姿勢情報を前記ガイド画像に反映する第１のモードと、前記ジェスチャー情報に基づいて前記注視状態を補正する第２のモードとを切り替えるモード切替部と
を具備する情報処理装置。
続きを表示（約 1,200 文字）【請求項２】
請求項１に記載の情報処理装置であって、
前記ガイド画像は、前記注視状態として、前記視線ベクトルに基づく注視位置または前記注視位置を含む注視オブジェクトの少なくとも一方を示す画像であり、
前記表示制御部は、前記第２のモードが実行された場合に、前記ジェスチャー情報に基づいて前記注視位置を補正する
情報処理装置。
【請求項３】
請求項２に記載の情報処理装置であって、
前記表示制御部は、前記第２のモードが実行された場合に、前記注視位置が補正された前記ガイド画像を表示するよう前記表示装置を制御する
情報処理装置。
【請求項４】
請求項２に記載の情報処理装置であって、
前記表示制御部は、前記ジェスチャー情報に基づいて前記視線ベクトルを補正することで前記注視位置を補正する
情報処理装置。
【請求項５】
請求項２に記載の情報処理装置であって、
前記ジェスチャー情報は、前記ユーザが頭部を回転させるヘッドジェスチャーに関する情報を含み、
前記表示制御部は、前記第２のモードが実行された場合に、前記ユーザの頭部の回転に応じて前記注視位置が補正された前記ガイド画像を表示するよう前記表示装置を制御する
情報処理装置。
【請求項６】
請求項５に記載の情報処理装置であって、
前記表示制御部は、前記ユーザの頭部の回転方向に前記視線ベクトルを回転させる
情報処理装置。
【請求項７】
請求項５に記載の情報処理装置であって、
前記表示制御部は、前記ユーザの頭部の回転角度に応じて、第１の範囲に収まるように前記視線ベクトルの回転角度を設定する
情報処理装置。
【請求項８】
請求項７に記載の情報処理装置であって、
前記表示制御部は、前記ユーザの頭部の回転角度が第２の範囲を超えた場合に、前記視線ベクトルの回転角度を前記第１の範囲の最大角度に設定する
情報処理装置。
【請求項９】
請求項８に記載の情報処理装置であって、
前記第２の範囲は、前記視線ベクトルの推定精度、前記視線ベクトルの較正データ、前記注視オブジェクトの候補となる候補オブジェクトの密集度、及び前記第２のモードが実行されたタイミングでの前記ユーザの頭部の姿勢の少なくとも１つに基づいて設定される
情報処理装置。
【請求項１０】
請求項７に記載の情報処理装置であって、
前記ユーザの頭部の回転角度は、前記第２のモードが実行されたタイミングでの前記ユーザの頭部の回転位置を基準として算出される
情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本技術は、ユーザの視線を用いた操作等を行う情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
従来、ユーザの視線を検出する技術が開発されている。例えば、ユーザの視線の検出結果を用いることで、ユーザが見ている対象等を選択するといった、視線による選択操作等が可能となる。
【０００３】
特許文献１には、ユーザの視線を用いてアイコンを選択することが可能な頭部装着型端末について記載されている。この頭部装着型端末には、ユーザの首の動きを検出するジャイロセンサが搭載される。例えばジャイロセンサにより検出されたユーザの首の動きに応じて、表示領域に表示されているアイコンの表示位置や間隔等が、視線で選択し易くなるように変更される。これにより、視線入力によるアイコンの選択等が容易になる（特許文献１の明細書段落［００２１］［００２９］［００２４］［００３６］図２等）。
【先行技術文献】
【特許文献】
【０００４】
国際公開第２０１５／１７０５２０号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
視線を用いて対象を選択する技術は、アミューズメント、教育、ショッピングといった様々な分野での応用が期待されており、視線を用いた選択操作の操作性を向上する技術が求められている。
【０００６】
以上のような事情に鑑み、本技術の目的は、視線を用いた選択操作の操作性を向上することが可能な情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本技術の一形態に係る情報処理装置は、眼球情報取得部と、視線推定部と、表示制御部と、ジェスチャー情報取得部と、モード切替部とを具備する。
前記眼球情報取得部は、第１のセンサからユーザの眼球の位置姿勢情報を取得する。
前記視線推定部は、前記眼球の位置姿勢情報に基づいて前記ユーザの視線ベクトルを推定する。
前記表示制御部は、前記推定された視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置を制御する。
前記ジェスチャー情報取得部は、第２のセンサから前記眼球の位置姿勢情報とは異なる前記ユーザのジェスチャー情報を取得する。
前記モード切替部は、前記ガイド画像に関する前記ユーザのモード切替入力に応じて、前記眼球の位置姿勢情報を前記ガイド画像に反映する第１のモードと、前記ジェスチャー情報に基づいて前記注視状態を補正する第２のモードとを切り替える。
【０００８】
この情報処理装置では、ユーザの眼球の位置姿勢情報が取得され、眼球の位置姿勢情報に基づいて視線ベクトルが推定される。この視線ベクトルに基づいた注視状態を示すガイド画像が表示装置に表示される。またガイド画像に関するモードを切り替えるモード切替入力に応じて、眼球の位置姿勢情報をガイド画像に反映する第１のモードと、眼球の位置姿勢情報とは異なるジェスチャー情報に基づいて注視状態を補正する第２のモードとが切り替えられる。これにより、視線を用いた選択操作の操作性を向上することが可能となる。
【０００９】
本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、第１のセンサからユーザの眼球の位置姿勢情報を取得することを含む。
前記眼球の位置姿勢情報に基づいて前記ユーザの視線ベクトルが推定される。
前記推定された視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置が制御される。
第２のセンサから前記眼球の位置姿勢情報とは異なる前記ユーザのジェスチャー情報が取得される。
前記ガイド画像に関する前記ユーザのモード切替入力に応じて、前記眼球の位置姿勢情報を前記ガイド画像に反映する第１のモードと、前記ジェスチャー情報に基づいて前記注視状態を補正する第２のモードとが切り替えられる。
【００１０】
本技術の一形態に係るコンピュータが読み取り可能な記録媒体は、コンピュータシステムに以下のステップを実行させるプログラムを記録する。
第１のセンサからユーザの眼球の位置姿勢情報を取得するステップ。
前記眼球の位置姿勢情報に基づいて前記ユーザの視線ベクトルを推定するステップ。
前記推定された視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置を制御するステップ。
第２のセンサから前記眼球の位置姿勢情報とは異なる前記ユーザのジェスチャー情報を取得するステップと、
前記ガイド画像に関する前記ユーザのモード切替入力に応じて、前記眼球の位置姿勢情報を前記ガイド画像に反映する第１のモードと、前記ジェスチャー情報に基づいて前記注視状態を補正する第２のモードとを切り替えるステップと
を実行させるプログラムが記録されているコンピュータが読み取り可能な記録媒体。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許