特許ウォッチ

公開番号2024169211
公報種別公開特許公報(A)
公開日2024-12-05
出願番号2023086492
出願日2023-05-25
発明の名称生成AIとの常時接続システム
出願人個人
代理人
主分類G06Q 50/10 20120101AFI20241128BHJP(計算;計数)
要約【課題】ユーザーの生活の質の向上に貢献する生成AIから知識・ノウハウの提供する方法、システム、装置、プログラム及び記録媒体を提供する.
【解決手段】情報端末装置1、2は、入力部で把握した画像を、情報端末装置5の受信部3が受信し、情報端末装置5の受発信部から、インターネットを経由して、サーバーの情報変換部1に伝達する。情報変換部1は、受信した映像データを画像キャプションでテキスト情報に変換し、音声データを音声自動認識技術でテキスト情報に変換する。分析部は、変換されたテキスト情報を、生成AIで学習し、学習されたユーザーの日常生活体験情報や、ユーザーからの指示をもとに、適切な情報やアドバイスを生成し、情報変換部2と連携して、学習済みの生成AIからユーザー宛のメッセージとしての文字情報を音声情報に変換し、該文字情報と音声情報を、発信部3に伝達する。発信部3は、前記情報を情報端末装置3、4に伝達する。
【選択図】図1
特許請求の範囲【請求項１】
検知した映像と音声を生成AIが分析した結果をユーザーに応答するシステムにおいて、前記システムが、ウェアラブルな情報端末装置を利用することにより、映像や音声の情報の入出力を常時接続する機能を有し、前記常時接続により、前記システムが使用される都度ではなく、常時にわたって情報の入出力が可能となることでユーザーに有益な情報提供が可能となることを特徴とする方法
続きを表示（約 1,800 文字）【請求項２】
ユーザーが所持するウェアラブルな情報端末装置１内に設置された映像を把握する入力部１と、有線または無線回線を経由して前記情報端末装置１から前記映像情報を発信する発信部１と、ユーザーが所持するウェアラブルな情報端末装置２内に設置された音声を把握する入力部２と、有線または無線回線を経由して前記情報端末装置２から前記音声情報を発信する発信部２と、ウェアラブルな情報端末装置５内に設置された前記情報端末装置１及び前記情報端末装置２から発信された前記映像情報や音声情報を受信する受信部３と、前記情報端末装置５からサーバーに対して、インターネット回線を経由して情報の受発信を行う受発信部と、前記受発信部より受信した映像情報はサーバー内で画像キャプションにより文字情報に変換し、音声情報は音声自動変換により文字情報に変換する情報変換部１と、前記情報変換部１で変換された文字情報や変換前の映像情報や音声情報を受発信部経由、または直接情報変換部１から受信し、生成AIに学習させ、学習済の生成AIにユーザーあて文字情報を作成させる分析部と、前記分析部で作成された文字情報を受発信部経由、または直接分析部から受信し、音声情報に変換する情報変換部２と、前記分析部で作成された文字情報と前記情報変換部２で変換された音声情報をユーザーが所持するウェアラブルな情報端末装置３宛て発信する発信部３と、前記発信部３で発信された音声情報をユーザーが所持するウェアラブルな情報端末装置３で受信する受信部１と、前記受信部１で受信した音声情報を出力する出力部１と、前記発信部３で発信された文字情報をユーザーが所持するウェアラブルな情報端末装置４で受信する受信部２と、前記受信部２で受信した文字情報を出力する出力部２とからなり、検知した映像と音声を生成AIが分析した結果をユーザーに応答するシステムにおいて、ウェアラブルな情報端末装置を利用することにより、映像や音声の情報の入出力を常時接続する機能を有し、前記常時接続により、使用される都度ではなく、常時にわたって情報の入出力が可能であることを特徴とする方法
【請求項３】
サーバーの情報変換部１が、画像および音声より人物を特定する機能を有し、特定した人物情報を情報端末装置５の受発信部を通じて、または受発信部を仲介せず、直接にサーバーの分析部に伝える機能を追加で有することを特徴とする請求項１から２のいずれかに記載の方法
【請求項４】
ユーザーは、ウェアラブルな情報端末装置から、生成AIに指示をすることができることを特徴とする請求項１から３のいずれかに記載の方法
【請求項５】
請求項４の指示がない場合でも、生成AIからユーザーに情報発信することを特徴とする請求項１から３のいずれかに記載の方法
【請求項６】
請求項１～５のいずれか１項のシステムに用いられるサーバー装置
【請求項７】
請求項２に記載の情報端末装置１及び情報端末装置２から情報を受信する受信部３と、サーバーの情報発信部１、分析部、情報発信部２と受発信する受発信部と、情報端末装置３及び情報端末装置４宛て情報を発信する発信部３とを有することで、検知した映像と音声を生成AIが分析した結果をユーザーに応答するシステムにおいて、ウェアラブルな情報端末装置を利用することにより、映像や音声の情報の入出力を常時接続する機能を有し、前記常時接続により、使用される都度ではなく、常時にわたって情報の入出力が可能であることを特徴とするクライアント装置
【請求項８】
コンピュータに、請求項１から７のいずれかに記載の処理方法及び装置を実行させるためのプログラム、及びプログラムを記録したコンピュータ読み取り可能な記録媒体
【請求項９】
請求項１～５のいずれか１項に記載の方法を実現するための、ウェアラブルな情報端末装置１、ウェアラブルな情報端末装置２、ウェアラブルな情報端末装置３、ウェアラブルな情報端末装置４、およびウェアラブルな情報端末装置５を含むシステム
【請求項１０】
請求項９に記載のシステムにおいて、ウェアラブルな情報端末装置１、２がウェアラブルグラス、ウェアラブルな情報端末装置３がワイヤレスイヤホン、ウェアラブルな情報端末装置４，５がスマートフォンであることを特徴とするシステム
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、ウエラブル端末を常時接続した生成AIシステム、サーバおよび端末装置に関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
ウェブ情報など大量の情報を学習した大規模言語モデルである生成AIは、生成AIに要求事項としてプロンプトを送り、生成AIからその回答を受け取ることで、私たちは膨大な知識を容易に入手することができるようになった。また、情報を生成AIに追加学習させることが可能で、当該追加情報を反映した回答を得ることができる。このような機能を持つ生成AIは、知識やノウハウを問い合わせる上では非常に便利なツールである。
【先行技術文献】
【非特許文献】
【０００３】
「ジョブ型人事クラウドJOB Scopeを提供するDEFiDE 1on1面談のテキスト化と要約・面談者の感情分析機能を提供フィードバック面談時の重要ポイントと面談相手の感情をAIで分析しデジタル化」（https://prtimes.jp/main/html/rd/p/000000024.000004868.html）令和５年５月日確認。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
生成AIから知識・ノウハウの提供を受けるためには、生成AIへの要求事項を何らかの方法で能動的に伝える必要がある。この要求事項も内容によっては、単純な言葉の意味の問い合わせだけでなく、個人が日常生活の中で体験した内容を踏まえた高度なアドバイスまで多様にある。高度な要求事項を伝えるためには、体験を要約し生成AIに伝えることが必要なため、時間と手間を要することになる。私たちが日常生活を送る中で、様々な場面に遭遇するが、会話などの流れに適切に対応した知識・ノウハウを持っていなかった場合、生成AIを活用するニーズが高くなるが、体験内容の要約が必要なため、生成AIへの要求事項の伝達が即時に行えない現状である。
【課題を解決するための手段】
【０００５】
生成AIに質問する場合に、ユーザーのそれまでの体験を要約して説明する手間を省き、かつ正確な情報連携を実現するために、ウェアラブルな端末装置により、常時、映像と音声を把握し、生成AIに伝達しておくことで、ユーザーは状況説明のために要約した文字情報を生成AIに伝達する手間なく、即時にその場の状況に応じた知識・ノウハウ等の情報提供をウェアラブル端末装置とサーバーのAIとのやり取りを通じて実現できる。
【発明の効果】
【０００６】
本発明により、ウェアラブルな端末装置を活用して、ユーザーの日常生活の映像や音声をリアルタイムで生成AIに伝達することが可能になる。これにより、ユーザーは状況説明のための文字情報を生成AIに伝達する手間を省くことができ、その場の状況に応じた知識・ノウハウ等の情報提供を即時に受け取ることが可能となる。このシステムは、会話や問題解決などのさまざまな状況で役立つ情報提供を効率的に行うことができるため、ユーザーの生活の質を向上させることが期待される。
また、生成AIはユーザーの日常生活で得た情報を継続的に学習することで、よりパーソナライズされたアドバイスやサポートを提供することができる。これにより、ユーザーは自分に適した情報やサービスを得ることができ、日常生活における様々な課題に対処する上での効果的な支援を受けることができる。
以上のように、本発明はウェアラブルな端末装置と生成AIを組み合わせることで、ユーザーの日常生活における情報提供とサポートを効率的かつ適切に行うことができるシステムを提供し、ユーザーの生活の質の向上に貢献することができる。
【図面の簡単な説明】
【０００７】
図１は、実施形態に係る全体の構成例を概略的に示す図である。
図２は、実施形態に係るサーバーとウェアラブルな情報端末装置との構成例を示すブロック図である。
図３は、実施形態に係るサーバーとウェアラブルな情報端末装置との動作例を示すシーケンスである。
図４は、実施形態に係るサーバーの情報変換部１に人物特定機能及び指示判別機能を加えた動作例を示すシーケンスである。
【発明を実施するための形態】
【０００８】
以下、実施形態について、図面を参照して説明する。図１は、実施形態に係るシステムの全体構成を概略的に示す図である。なお、図に付した番号や記号は、以下では（）内で表示する。
本発明を実施するために、ユーザーはウェアラブル端末装置（例：スマートグラス、スマートウォッチ、スマートフォン、ワイヤレスイヤホン）を日常生活で使用する。このウェアラブルな情報端末装置には、映像及び音声を取得・出力するためのカメラ、マイク、スピーカー、液晶版が搭載されている。ウェアラブル端末装置が取得した映像及び音声データは、無線通信技術（例：Bluetooth、Wi-Fi）を用いてインターネット経由でサーバーに送信される。
【０００９】
情報端末装置１（１０）の入力部１（１０１）で把握した画像は、発信部１（１０２）からBluetoothなどの通信技術により情報端末装置５（５０）の受信部３（５０１）で受信され、情報端末装置５（５０）の受発信部（５０２）から、Wi-Fiや携帯電話回線を使ったインターネットを経由して、サーバー（６０）の情報変換部１（６０１）に伝達される。
【００１０】
情報端末装置２（２０）の入力部２（２０１）で把握した音声は、発信部２（２０２）からBluetoothなどの通信技術により情報端末装置５（５０）の受信部３（５０１）で受信され、情報端末装置５（５０）の受発信部（５０２）から、Wi-Fiや携帯電話回線を使ったインターネットを経由して、サーバー（６０）の情報変換部１（６０１）に伝達される。
（【００１１】以降は省略されています）

関連特許