特許ウォッチ

公開番号2025017539
公報種別公開特許公報(A)
公開日2025-02-06
出願番号2023120634
出願日2023-07-25
発明の名称情報処理装置、入出力装置、情報処理方法、方法、プログラム、モデル、および情報処理システム
出願人株式会社リコー
代理人弁理士法人酒井国際特許事務所
主分類G06F 16/90 20190101AFI20250130BHJP(計算;計数)
要約【課題】ユーザの意図に沿った表示画面に対するテキスト情報を生成する情報処理装置、情報処理システム及び方法を提供する。
【解決手段】グラスデバイスやウエアラブルデバイスであり入出力装置である端末装置10と、端末装置とネットワーク100を介して接続された情報処理装置であるサーバ40からなる情報処理システムにおいて、サーバは、画像とテキストを学習データとして学習処理を実行して生成された暗黙知モデル4004を記憶する記憶部4000と、ディスプレイに表示される表示画面1000のうち特定部44により特定された対象画像および暗黙知モデル4004に基づいて、テキスト情報を生成するテキスト生成部45と、を備える。
【選択図】図3
特許請求の範囲【請求項１】
画像とテキストを学習データとして学習処理を実行して生成されたモデルを記憶する記憶手段と、
表示部に表示される表示画面のうちの特定された対象画像、および前記モデルに基づいて、テキスト情報を生成するテキスト情報生成手段と、
を備えた情報処理装置。
続きを表示（約 990 文字）【請求項２】
前記テキスト情報生成手段は、ユーザを識別するユーザ情報に基づき、前記テキスト情報を生成する請求項１記載の情報処理装置。
【請求項３】
前記表示画面は、前記表示画面の生成に用いられる画像を取得した取得シーンを識別する取得情報、および前記表示画面を利用する利用シーンを識別する利用情報の少なくとも１つに対応付けられている請求項１記載の情報処理装置。
【請求項４】
前記テキスト情報生成手段は、前記表示画面の元となる画像を取得した取得シーンを識別する取得情報、および前記表示画面を利用する利用シーンを識別する利用情報の少なくとも１つに基づき、前記テキスト情報を生成する請求項１記載の情報処理装置。
【請求項５】
前記テキスト情報生成手段は、
前記モデルと、
前記対象画像と、
前記表示画面が前記表示部に表示されたときに入力受付手段により受付けられた入力情報に基づき、前記テキスト情報を生成する請求項１記載の情報処理装置。
【請求項６】
前記入力情報が質問を含むときに、前記テキスト情報は前記質問に対する回答を含む請求項５記載の情報処理装置。
【請求項７】
表示部に表示される表示画面のうちの特定された対象画像と、入力受付手段により受付けられた音声情報および文字情報の少なくとも１つに基づくテキストデータと、を前記学習データとして、前記モデルを更新するモデル更新手段を更に備えた請求項１記載の情報処理装置。
【請求項８】
前記モデル更新手段は、ユーザを識別するユーザ情報、前記表示画面の元となる画像を取得した取得シーンを識別する取得情報、および前記表示画面を利用する利用シーンを識別する利用情報の少なくとも１つに基づき、前記モデルを更新する請求項７記載の情報処理装置。
【請求項９】
前記モデル更新手段は、前記対象画像と、前記テキストデータの関連度に基づき、前記モデルを更新する請求項８記載の情報処理装置。
【請求項１０】
前記モデル更新手段は、前記対象画像の内容を説明するキャプションコメントと、前記テキストデータの関連度に基づき、前記モデルを更新する請求項９記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、入出力装置、情報処理方法、方法、プログラム、モデル、および情報処理システムに関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
特許文献１には、深度情報からなる点群データから３次元モデルデータと照合する照合用オブジェクトを抽出し、３次元モデルデータと照合用オブジェクトとを照合して３次元モデルデータ内におけるオブジェクト一致箇所を、機械学習を用いて特定する技術が開示されている。そして、特許文献１には、３次元モデルデータにおけるオブジェクト一致箇所の情報と点群データの深度情報とに基づいて建造物内における対象の位置を特定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特許７１１３６１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、ユーザの意図に沿った表示画面に対するテキスト情報を生成することを課題とする。
【課題を解決するための手段】
【０００５】
本発明に係る情報処理装置は、画像とテキストを学習データとして学習処理を実行して生成されたモデルを記憶する記憶手段と、表示部に表示される表示画面のうちの特定された対象画像、および前記モデルに基づいて、テキスト情報を生成するテキスト情報生成手段と、を備える。
【発明の効果】
【０００６】
本発明によれば、ユーザの意図に沿った表示画面に対するテキスト情報を生成することができる。
【図面の簡単な説明】
【０００７】
本発明の実施形態に係る情報処理システムの全体構成図である。
本実施形態に係る端末装置、サーバのハードウエア構成図である。
本実施形態に係る情報処理システムの機能ブロック図である。
本実施形態に係るユーザ情報管理テーブルおよび画像管理テーブルの一例を示す概念図である。
本実施形態に係るテキスト情報生成処理の一例を示すシーケンス図である。
本実施形態に係るモデル更新処理の一例を示すシーケンス図である。
本実施形態に係る各種処理の一例を示すフローチャートである。
本実施形態に係るモデル更新処理およびテキスト情報生成処理の説明図である。
本実施形態に係るモデル更新処理およびテキスト情報生成処理の他の説明図である。
【発明を実施するための形態】
【０００８】
土木、建築などの業界において、少子高齢化、労働生産性の向上などを目的に、ＢＩＭ／ＣＩＭ化が進められている。
【０００９】
ＢＩＭとは、ＢｕｉｌｄｉｎｇＩｎｆｏｒｍａｔｉｏｎＭｏｄｅｌｉｎｇの略称であり、コンピューター上に作成した三次元の建物のデジタルモデル（以後、３Ｄモデルと呼ぶ）に、コストや仕上げ、管理情報などの属性データを追加した建築物のデータベースを、建築の設計、施工から維持管理までのあらゆる工程で情報活用を行うためのソリューションである。
【００１０】
ＣＩＭは、ＣｏｎｓｔｒｕｃｔｉｏｎＩｎｆｏｒｍａｔｉｏｎＭｏｄｅｌｉｎｇの略称であり、建築分野で進められていたＢＩＭに倣って提唱された土木分野向け（道路、電力、ガス、水道などインフラ全般）のソリューションである。ＢＩＭと同様に、３Ｄモデルを中心に関係者間で情報共有することで一連の建設生産システムの効率化・高度化を図るものとして取り組まれている。
（【００１１】以降は省略されています）

関連特許