特許ウォッチ

公開番号2025013317
公報種別公開特許公報(A)
公開日2025-01-24
出願番号2024112912
出願日2024-07-12
発明の名称制御システム
出願人ソフトバンクグループ株式会社
代理人弁理士法人太陽国際特許事務所
主分類G06Q 50/10 20120101AFI20250117BHJP(計算;計数)
要約【課題】ユーザを苦手な物から避けさせることに関してユーザを支援し得る電子機器を得る。
【解決手段】制御システムは、状態認識部と、感情決定部と、行動決定部と、を含み、感情決定部は、ユーザが苦手とする物である苦手物を特定し、行動決定部は、行動決定モデルを用いて、ユーザが所持するカメラから得られた、当該ユーザの周囲の撮影画像に苦手物が映っていると推定された場合にユーザに警告を発することを、電子機器の行動として決定する。
【選択図】図22
特許請求の範囲【請求項１】
ユーザの行動を含むユーザ状態、及び電子機器の状態を認識する状態認識部と、
前記ユーザの感情又は前記電子機器の感情を判定する感情決定部と、
所定のタイミングで、前記ユーザ状態、前記電子機器の状態、前記ユーザの感情、及び前記電子機器の感情の少なくとも一つと、行動決定モデルとを用いて、行動しないことを含む複数種類の機器行動の何れかを、前記電子機器の行動として決定する行動決定部と、
を含み、
前記感情決定部は、前記ユーザが苦手とする物である苦手物を特定し、
前記行動決定部は、前記行動決定モデルを用いて、前記ユーザが所持するカメラから得られた、当該ユーザの周囲の撮影画像に前記苦手物が映っていると推定された場合に前記ユーザに警告を発することを、前記電子機器の行動として決定する、
制御システム。
続きを表示（約 990 文字）【請求項２】
前記行動決定部は、前記苦手物を示す情報を前記行動決定モデルに入力することで、当該苦手物に関連する物である苦手物関連物を取得し、当該苦手物関連物が前記撮影画像に映っていると推定された場合にも前記警告を発することを、前記電子機器の行動として決定する、
請求項１に記載の制御システム。
【請求項３】
前記行動決定部は、前記ユーザとの対話に応じて、前記警告のレベルを設定する、
請求項１に記載の制御システム。
【請求項４】
前記苦手物は、前記ユーザがアレルギーを抱える物である、
請求項１に記載の制御システム。
【請求項５】
前記行動決定部は、前記ユーザとの対話に応じて、それ以降は前記警告を発する行動を行わないように決定する、
請求項１に記載の制御システム。
【請求項６】
前記苦手物は、前記ユーザが苦手とする食品、及び、前記ユーザが苦手とする食品成分の少なくとも一方であり、
前記行動決定部は、前記撮影画像に前記食品、及び、前記食品成分の少なくとも一方が映っていると推定された場合に前記警告を発することを、前記電子機器の行動として決定する、
請求項１に記載の制御システム。
【請求項７】
前記感情決定部は、前記ユーザの過去の行動履歴、及び、前記ユーザの感情の少なくとも一方を用いて、前記苦手物を特定する、
請求項１に記載の制御システム。
【請求項８】
前記電子機器は、通信端末であり、
前記行動決定部は、行動しないことを含む複数種類の、前記ユーザと対話するためのエージェントの行動の何れかを、前記通信端末の行動として決定する、
請求項１に記載の制御システム。
【請求項９】
前記行動決定モデルは、対話機能を有する文章生成モデルであり、
前記行動決定部は、前記苦手物、前記ユーザ状態、前記エージェントの状態、前記ユーザの感情、及び前記エージェントの感情の少なくとも一つを表すテキストと、前記撮影画像と、前記エージェントの行動を質問するテキストとを前記文章生成モデルに入力し、前記文章生成モデルの出力に基づいて、前記通信端末の行動を決定する、
請求項８に記載の制御システム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、制御システムに関する。
続きを表示（約 2,600 文字）【背景技術】
【０００２】
特許文献１には、ネックストラップを具備するカメラ付きの通信端末が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０１９－２１５４４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら従来技術は、ネックストラップのカメラへの映り込みを抑制できるもののユーザの行動を支援するものではないため、ユーザを苦手な物から避けさせることに関してユーザを支援する上で改善の余地がある。
【課題を解決するための手段】
【０００５】
本発明の第１の態様によれば、制御システムが提供される。当該制御システムは、ユーザの行動を含むユーザ状態、及び電子機器の状態を認識する状態認識部と、前記ユーザの感情又は前記電子機器の感情を判定する感情決定部と、所定のタイミングで、前記ユーザ状態、前記電子機器の状態、前記ユーザの感情、及び前記電子機器の感情の少なくとも一つと、行動決定モデルとを用いて、行動しないことを含む複数種類の機器行動の何れかを、前記電子機器の行動として決定する行動決定部と、を含み、前記感情決定部は、前記ユーザが苦手とする物である苦手物を特定し、前記行動決定部は、前記行動決定モデルを用いて、前記ユーザが所持するカメラから得られた、当該ユーザの周囲の撮影画像に前記苦手物が映っていると推定された場合に前記ユーザに警告を発することを、前記電子機器の行動として決定する。
ここで、電子機器は、通信端末を含む。通信端末とは、物理的な動作を行う装置、物理的な動作を行わずに映像や音声を出力する装置、及びソフトウェア上で動作するエージェントを含む。
【図面の簡単な説明】
【０００６】
第１実施形態に係るシステム５の一例を概略的に示す。
第１実施形態に係るロボット１００の機能構成を概略的に示す。
第１実施形態に係るロボット１００による収集処理の動作フローの一例を概略的に示す。
第１実施形態に係るロボット１００による応答処理の動作フローの一例を概略的に示す。
第１実施形態に係るロボット１００による自律的処理の動作フローの一例を概略的に示す。
複数の感情がマッピングされる感情マップ４００を示す。
複数の感情がマッピングされる感情マップ９００を示す。
（Ａ）第２実施形態に係るぬいぐるみ１００Ｎの外観図、（Ｂ）ぬいぐるみ１００Ｎの内部構造図である。
第２実施形態に係るぬいぐるみ１００Ｎの背面正面図である。
第２実施形態に係るぬいぐるみ１００Ｎの機能構成を概略的に示す。
第３実施形態に係るエージェントシステム５００の機能構成を概略的に示す。
エージェントシステムの動作の一例を示す。
エージェントシステムの動作の一例を示す。
第４実施形態に係るスマート眼鏡７２０の機能構成を概略的に示す。
スマート眼鏡によるエージェントシステムの利用態様の一例を示す。
コンピュータ１２００のハードウェア構成の一例を概略的に示す。
本開示の実施形態に係る通信端末の外観図である。
通信端末が再生する音声などの例を示す図である。
通信端末が再生する音声などの例を示す図である。
通信端末が再生する音声などの例を示す図である。
通信端末が再生する音声などの例を示す図である。
通信端末が再生する音声などの例を示す図である。
変形例に係る通信端末において行動を決定する動作に関する動作フローの一例を概略的に示す。
【発明を実施するための形態】
【０００７】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００８】
［第１実施形態］
図１は、本実施形態に係るシステム５の一例を概略的に示す。システム５は、ロボット１００、ロボット１０１、ロボット１０２、及びサーバ３００を備える。ユーザ１０ａ、ユーザ１０ｂ、ユーザ１０ｃ、及びユーザ１０ｄは、ロボット１００のユーザである。ユーザ１１ａ、ユーザ１１ｂ及びユーザ１１ｃは、ロボット１０１のユーザである。ユーザ１２ａ及びユーザ１２ｂは、ロボット１０２のユーザである。なお、本実施形態の説明において、ユーザ１０ａ、ユーザ１０ｂ、ユーザ１０ｃ、及びユーザ１０ｄを、ユーザ１０と総称する場合がある。また、ユーザ１１ａ、ユーザ１１ｂ及びユーザ１１ｃを、ユーザ１１と総称する場合がある。また、ユーザ１２ａ及びユーザ１２ｂを、ユーザ１２と総称する場合がある。ロボット１０１及びロボット１０２は、ロボット１００と略同一の機能を有する。そのため、ロボット１００の機能を主として取り上げてシステム５を説明する。
【０００９】
ロボット１００は、ユーザ１０と会話を行ったり、ユーザ１０に映像を提供したりする。このとき、ロボット１００は、通信網２０を介して通信可能なサーバ３００等と連携して、ユーザ１０との会話や、ユーザ１０への映像等の提供を行う。例えば、ロボット１００は、自身で適切な会話を学習するだけでなく、サーバ３００と連携して、ユーザ１０とより適切に会話を進められるように学習を行う。また、ロボット１００は、撮影したユーザ１０の映像データ等をサーバ３００に記録させ、必要に応じて映像データ等をサーバ３００に要求して、ユーザ１０に提供する。
【００１０】
また、ロボット１００は、自身の感情の種類を表す感情値を持つ。例えば、ロボット１００は、「喜」、「怒」、「哀」、「楽」、「快」、「不快」、「安心」、「不安」、「悲しみ」、「興奮」、「心配」、「安堵」、「充実感」、「虚無感」及び「普通」のそれぞれの感情の強さを表す感情値を持つ。ロボット１００は、例えば興奮の感情値が大きい状態でユーザ１０と会話するときは、早いスピードで音声を発する。このように、ロボット１００は、自己の感情を行動で表現することができる。
（【００１１】以降は省略されています）

関連特許