特許ウォッチ

公開番号2024067480
公報種別公開特許公報(A)
公開日2024-05-17
出願番号2022177593
出願日2022-11-04
発明の名称リモート制御システムとその制御装置およびプログラム
出願人日本電信電話株式会社,国立大学法人お茶の水女子大学
代理人弁理士法人鈴榮特許綜合事務所
主分類G06F 3/0346 20130101AFI20240510BHJP(計算;計数)
要約【課題】操作対象機器の鏡像に対する操作パネル画像の対応付けをユーザの位置によらず常に正確に設定可能にする。
【解決手段】ディスプレイの前面に半反射型ミラーを介在した状態で光透過型タッチフレームを配置した半透過型タッチディスプレイと、制御装置とを具備するリモート制御システムにあって、制御装置により、ユーザが半透過型タッチディスプレイに対する視点位置を変化させたときの、複数の視点位置の各々についてその視点位置座標を表すデータ取得すると共に、ユーザが半透過型タッチディスプレイに写る操作対象機器の鏡像をタッチ操作したときのタッチ位置座標を表すデータを取得し、取得した複数の視点位置座標を表すデータとタッチ位置座標を表すデータとに基づいて、半透過型タッチディスプレイ上に写る操作対象機器の鏡像の絶対位置座標を推定する。
【選択図】図4

特許請求の範囲【請求項１】
ディスプレイの前面に半反射型ミラーを介在した状態で光透過型タッチフレームを配置した半透過型タッチディスプレイと、
前記半透過型タッチディスプレイに接続される制御装置と
を具備し、
前記制御装置は、
ユーザが前記半透過型タッチディスプレイに対する視点位置を変化させたときの、複数の前記視点位置の各々についてその視点位置座標を取得する第１の処理部と、
複数の前記視点位置において、前記ユーザが前記半透過型タッチディスプレイに写る操作対象機器の鏡像をタッチ操作したときのタッチ位置座標を取得する第２の処理部と、
複数の前記視点位置座標と、複数の前記タッチ位置座標とに基づいて、前記半透過型タッチディスプレイに写る前記操作対象機器の鏡像の絶対位置座標を推定する第３の処理部と
を備えるリモート制御システム。
続きを表示（約 1,200 文字）【請求項２】
ディスプレイの前面に半反射型ミラーを介在した状態で光透過型タッチフレームを配置した半透過型タッチディスプレイに接続されるリモート操作用の制御装置であって、
ユーザが前記半透過型タッチディスプレイに対する視点位置を変化させたときの、複数の前記視点位置についてそれぞれその視点位置座標を取得する第１の処理部と、
複数の前記視点位置において、前記ユーザが前記半透過型タッチディスプレイに写る操作対象機器の鏡像をタッチ操作したときのタッチ位置座標を取得する第２の処理部と、
複数の前記視点位置座標を表すデータと、複数の前記タッチ位置座標を表すデータとに基づいて、前記半透過型タッチディスプレイに写る前記操作対象機器の鏡像の絶対位置座標を推定する第３の処理部と
を具備する制御装置。
【請求項３】
前記第３の処理部は、前記視点位置ごとに、前記視点位置座標と前記タッチ位置座標とを結ぶ直線を表す式をそれぞれ求め、複数の前記直線が交差する交差位置座標を算出し、算出した前記交差位置座標を前記操作対象機器の鏡像の前記絶対位置座標とする、請求項２に記載の制御装置。
【請求項４】
前記第３の処理部は、前記視点位置ごとに、前記視点位置座標と前記タッチ位置座標とを結ぶ直線を表す式をそれぞれ求め、複数の前記直線上の互いに最も接近する点間の中点を表す座標を算出し、算出した前記中点を表す座標を前記操作対象機器の鏡像の前記絶対位置座標とする、請求項２に記載の制御装置。
【請求項５】
前記第３の処理部は、前記視点位置ごとに、前記視点位置座標と前記タッチ位置座標とを結ぶ直線を表す式をそれぞれ求め、複数の前記直線の交差の有無および交差しない場合には直線間の距離を判定し、その判定結果に基づいて前記操作対象機器の鏡像の絶対位置座標の推定処理に対する貢献度を判定し、判定した前記貢献度を表す情報を出力する、請求項２に記載の制御装置。
【請求項６】
前記ユーザが前記操作対象機器をリモート操作するときの前記ユーザの前記視点位置座標と、前記絶対位置座標とに基づいて、前記半透過型タッチディスプレイにおける、前記操作対象機器に対応する操作パネル画像の表示位置を設定制御する第４の処理部を、さらに具備する請求項２に記載の制御装置。
【請求項７】
前記ユーザが前記操作対象機器をリモート操作するときの前記ユーザの前記視点位置座標と、前記絶対位置座標とに基づいて、前記操作対象機器に対応する操作パネル画像の表示位置の設定支援情報を生成し、生成した前記設定支援情報を前記半透過型タッチディスプレイに表示する第５の処理部を、さらに具備する請求項２に記載の制御装置。
【請求項８】
請求項２乃至７のいずれかに記載の制御装置が具備する各処理部が行う処理の少なくとも１つを、前記制御装置が備えるプロセッサに実行させるプログラム。

発明の詳細な説明【技術分野】
【０００１】
この発明の一態様は、例えばスマート家電機器等の情報機器を遠隔操作するためのリモート制御システムと、その制御装置およびプログラムに関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
近年、例えばスマート家電機器のようにネットワークに接続可能な情報機器を遠隔操作する技術の１つとして、半反射型ＡＲ（Augmented Reality）ミラーディスプレイを用いたシステムが提案されている。このシステムは、例えばディスプレイの前面にハーフミラー等と呼ばれる半反射型ミラーを介在した状態で光透過型タッチフレームを配置する。そして、上記半反射型ミラーに映る現実のスマート家電機器を操作するための操作パネル画像をディスプレイに表示し、タッチフレーム上の上記操作パネル画像の表示位置をタッチ操作することで、上記スマート家電機器を遠隔操作するものである（例えば非特許文献１を参照）。
【０００３】
このシステムを用いると、半反射型ミラーに映る複数のスマート家電機器に対応する操作パネル画像を選択的にタッチ操作することで、ユーザは所望のスマート家電機器を遠隔操作することが可能となる。また、操作パネルに複数の操作メニューを表示することで、ユーザは操作パネルの所望の操作メニューをタッチ操作することで、スマート家電機器に対し複数種類の動作を選択的に実行させることが可能となる。
【先行技術文献】
【非特許文献】
【０００４】
ZIQING FENG, Mana SASAGAWA, Itiro SIIO AND Yasushi MATOBA, “Smart-home control by using half-reflective AR mirror display”, 情報処理学会第84回全国大会 7Y-03，2022
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上記システムでは半反射型ミラーに映るスマート家電の位置に操作パネル画像の表示位置を対応付けるために、ユーザが操作パネル画像をドラッグ操作できるようにする機能を備えている。
【０００６】
しかし上記システムでは、半反射型ミラーに映るスマート家電機器の鏡像の位置がユーザの視点によって変化してしまう。このため、上記スマート家電の鏡像の位置に対応して操作パネル画像の表示位置を設定しても、半反射型ミラーに対するユーザの立ち位置により、上記スマート家電の鏡像の位置と操作パネル画像の表示位置との間に位置ずれが発生する。このため、例えば操作パネル画像にタッチ操作しても、所望のスマート家電機器を操作できなくなるといった不具合が発生する場合がある。これは、特に複数のスマート家電機器が互いに接近して配置されている場合には、操作対象機器を操作できなくなったり、別のスマート家電機器を誤操作してしまうことにもなり、極めて好ましくない。
【０００７】
この発明は上記事情に着目してなされたもので、一側面では、操作対象機器の鏡像に対する操作パネル画像の対応付けをユーザの位置によらず常に正確に設定可能にする技術を提供しようとするものである。
【課題を解決するための手段】
【０００８】
上記課題を解決するためにこの発明に係るリモート制御システムの一態様は、ディスプレイの前面に半反射型ミラーを介在した状態で光透過型タッチフレームを配置した半透過型タッチディスプレイと、前記半透過型タッチディスプレイに接続される制御装置とを具備する。そして、前記制御装置により、ユーザが前記半透過型タッチディスプレイに対する視点位置を変化させたときの、複数の前記視点位置の各々についてその視点位置座標を表すデータ取得すると共に、前記ユーザが前記半透過型タッチディスプレイに写る操作対象機器の鏡像をタッチ操作したときのタッチ位置座標を表すデータを取得し、取得した複数の前記視点位置座標を表すデータと、複数の前記タッチ位置座標を表すデータとに基づいて、前記半透過型タッチディスプレイ上に写る前記操作対象機器の鏡像の絶対位置座標を推定するようにしたものである。
【０００９】
この発明の一態様によれば、半透過型タッチディスプレイに写る操作対象機器の鏡像の絶対位置座標が推定される。従って、推定された前記絶対位置座標を使用して、前記半透過型タッチディスプレイにおける前記操作対象機器に対応する操作パネル画像の表示位置を設定することが可能となる。このため、例えば半透過型タッチディスプレイに対するユーザの立ち位置がどの位置にあっても、半透過型タッチディスプレイ上における操作パネル画像の表示位置を操作対象機器の鏡像に対応させることが可能となる。その結果、複数の操作対象機器が近接配置されている場合でも、所望の操作対象機器を選択できなくなったり、別の操作対象機器を誤操作してしまうといった不具合の発生は防止され、これにより所望の操作対象機器を確実に選択し操作することが可能となる。また、操作パネル画像の表示位置の設定操作に対するユーザの負担も軽減することができる。
【発明の効果】
【００１０】
すなわちこの発明の一態様によれば、操作対象機器の鏡像に対する操作パネル画像の対応付けをユーザの位置によらず常に正確に設定可能にする技術を提供することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許