特許ウォッチ

公開番号2025072789
公報種別公開特許公報(A)
公開日2025-05-12
出願番号2023183113
出願日2023-10-25
発明の名称機器、情報処理装置、情報処理システム、情報処理方法及びプログラム
出願人株式会社リコー
代理人個人,個人
主分類H04N 1/00 20060101AFI20250501BHJP(電気通信技術)
要約【課題】生成モデルへの入力に適した画像を機器が入力可能とすること。
【解決手段】機器は、当該機器が入力する画像に対して適用する処理内容を示す文字列の入力を受け付ける文字列入力部と、前記文字列を入力とし、当該文字列が示す処理内容を適用する画像を入力する際の当該機器の動作方法を出力とする第1のモデルを用いて、当該機器の動作方法を取得する動作方法取得部と、を有し、前記第1のモデルは、或る文字列と前記或る文字列を入力した当該第1のモデルが出力する前記動作方法に基づいて入力元の画像を当該機器が入力することで得られる画像又は前記入力元の画像に対して当該動作方法に応じた画像処理が適用された画像とに基づいて第2のモデルが生成するデータと、前記或る文字列と前記或る画像とに基づいて前記第2のモデルが生成するデータとの誤差が小さくなるように学習されている。
【選択図】図11
特許請求の範囲【請求項１】
機器であって、
当該機器が入力する画像に対して適用する処理内容を示す文字列の入力を受け付ける文字列入力部と、
前記文字列を入力とし、当該文字列が示す処理内容を適用する画像を入力する際の当該機器の動作方法を出力とする第１のモデルを用いて、当該機器の動作方法を取得する動作方法取得部と、
を有し、
前記第１のモデルは、或る文字列と前記或る文字列を入力した当該第１のモデルが出力する前記動作方法に基づいて入力元の画像を当該機器が入力することで得られる画像又は前記入力元の画像に対して当該動作方法に応じた画像処理が適用された画像とに基づいて第２のモデルが生成するデータと、前記或る文字列と前記或る画像とに基づいて前記第２のモデルが生成するデータとの誤差が小さくなるように学習されている、
ことを特徴とする機器。
続きを表示（約 2,000 文字）【請求項２】
前記入力元の画像は、撮像対象の物体が含む画像であり、
前記機器は、前記物体を撮像することで前記入力元の画像を入力する、
ことを特徴とする請求項１記載の機器。
【請求項３】
前記文字列入力部が受け付けた文字列と、前記動作方法取得部が取得した動作方法に基づいて当該機器が入力する画像とに基づくデータの生成要求を、前記第２のモデルを有するコンピュータへ要求する要求部、
を有することを特徴とする請求項１記載の機器。
【請求項４】
前記要求部は、前記コンピュータから得られる画面を介して入力されるユーザの指示に応じ、前記生成要求を前記コンピュータへ送信する、
ことを特徴とする請求項３記載の機器。
【請求項５】
前記動作方法取得部が取得した動作方法に対応付けられて他の動作方法が記憶部に記憶されている場合に、当該機器の動作方法を当該他の動作方法に修正する動作方法修正部、
を有する、
ことを特徴とする請求項１記載の機器。
【請求項６】
前記記憶部は、前記動作方法取得部が取得した動作方法と、当該動作方法がユーザによって変更された動作方法とを対応付けて記憶する、
ことを特徴とする請求項５記載の機器。
【請求項７】
文字列を入力とし、当該文字列が示す処理内容を適用する画像を入力する機器の動作方法を出力とする第１のモデルを用いて、当該動作方法を判定する動作方法判定部、
を有し、
前記第１のモデルは、或る文字列と、前記或る文字列を入力した当該第１のモデルが出力する前記動作方法に基づいて入力元の画像を前記機器が入力することで得られる画像又は前記入力元の画像に対して当該動作方法に応じた画像処理が適用された画像とに基づいて第２のモデルが生成するデータと、前記或る文字列と前記或る画像とに基づいて前記第２のモデルが生成するデータとの誤差が小さくなるように学習されている、
ことを特徴とする情報処理装置。
【請求項８】
機器を含む情報処理システムであって、
前記機器が入力する画像に対して適用する処理内容を示す文字列の入力を受け付ける文字列入力部と、
前記文字列を入力とし、当該文字列が示す処理内容を適用する画像を入力する際の前記機器の動作方法を出力とする第１のモデルを用いて、前記機器の動作方法を取得する動作方法取得部と、
を有し、
前記第１のモデルは、或る文字列と前記或る文字列を入力した当該第１のモデルが出力する前記動作方法に基づいて入力元の画像を前記機器が入力することで得られる画像又は前記入力元の画像に対して当該動作方法に応じた画像処理が適用された画像とに基づいて第２のモデルが生成するデータと、前記或る文字列と前記或る画像とに基づいて前記第２のモデルが生成するデータとの誤差が小さくなるように学習されている、
ことを特徴とする情報処理システム。
【請求項９】
機器が、
当該機器が入力する画像に対して適用する処理内容を示す文字列の入力を受け付ける文字列入力手順と、
前記文字列を入力とし、当該文字列が示す処理内容を適用する画像を入力する際の当該機器の動作方法を出力とする第１のモデルを用いて、当該機器の動作方法を取得する動作方法取得手順と、
を実行し、
前記第１のモデルは、或る文字列と前記或る文字列を入力した当該第１のモデルが出力する前記動作方法に基づいて入力元の画像を当該機器が入力することで得られる画像又は前記入力元の画像に対して当該動作方法に応じた画像処理が適用された画像とに基づいて第２のモデルが生成するデータと、前記或る文字列と前記或る画像とに基づいて前記第２のモデルが生成するデータとの誤差が小さくなるように学習されている、
ことを特徴とする情報処理方法。
【請求項１０】
機器に、
当該機器が入力する画像に対して適用する処理内容を示す文字列の入力を受け付ける文字列入力手順と、
前記文字列を入力とし、当該文字列が示す処理内容を適用する画像を入力する際の当該機器の動作方法を出力とする第１のモデルを用いて、当該機器の動作方法を取得する動作方法取得手順と、
を実行させ、
前記第１のモデルは、或る文字列と前記或る文字列を入力した当該第１のモデルが出力する前記動作方法に基づいて入力元の画像を当該機器が入力することで得られる画像又は前記入力元の画像に対して当該動作方法に応じた画像処理が適用された画像とに基づいて第２のモデルが生成するデータと、前記或る文字列と前記或る画像とに基づいて前記第２のモデルが生成するデータとの誤差が小さくなるように学習されている、
ことを特徴とするプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、機器、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
近年、機械学習モデル（生成モデル）を用いた生成ＡＩが発達している。テキストを入力しテキストを生成するテキスト生成ＡＩ、画像を入力しテキストを生成する生成ＡＩ、テキストを入力し動画を生成するＡＩ、テキストと画像を入力し画像を生成する生成ＡＩなど、様々な入力情報に応じて様々な形式の生成物を生成するマルチモーダルな生成ＡＩが実用化されている。ここでいう生成物には、テキスト、音声、画像、動画などの各種コンテンツが含まれる。
【０００３】
生成ＡＩでは入力された指示コマンドに応じた生成物の生成を行うが、生成物がユーザの意図に合致しているか否かは、指示コマンドの表現によって大きく左右される。指示コマンドは自然言語形式で入力される場合が多いが、意図した通りの結果を得るためにどの様な指示コマンドを入力すれば良いかに関するスキルはコマンドエンジニアリングと呼ばれて研究されている。
【０００４】
なお、従来、操作者に手書き文字で指示内容を記述させ、その記述から指示する機能を決定する装置が検討されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の生成ＡＩに関する検討は、生成アルゴリズムやデータ空間上での生成ＡＩの活用方法の検討がメインであり、ハードウェアである機器との連携という観点での検討は発展途上である。例えば、画像を入力する機器と生成ＡＩとを組み合わせる際、機器に対する指示をどのように入力し、入力された指示に応じて機器が入力した画像を生成ＡＩへの入力とするために、機器をどのような動作方法で動作させれば生成ＡＩ（生成モデル）への入力に適した画像が得られるのかといった検討は十分にはなされていない。
【０００６】
本発明は、上記の点に鑑みてなされたものであって、生成モデルへの入力に適した画像を機器が入力可能とすることを目的とする。
【課題を解決するための手段】
【０００７】
そこで上記課題を解決するため、機器は、当該機器が入力する画像に対して適用する処理内容を示す文字列の入力を受け付ける文字列入力部と、前記文字列を入力とし、当該文字列が示す処理内容を適用する画像を入力する際の当該機器の動作方法を出力とする第１のモデルを用いて、当該機器の動作方法を取得する動作方法取得部と、を有し、前記第１のモデルは、或る文字列と前記或る文字列を入力した当該第１のモデルが出力する前記動作方法に基づいて入力元の画像を当該機器が入力することで得られる画像又は前記入力元の画像に対して当該動作方法に応じた画像処理が適用された画像とに基づいて第２のモデルが生成するデータと、前記或る文字列と前記或る画像とに基づいて前記第２のモデルが生成するデータとの誤差が小さくなるように学習されている。
【発明の効果】
【０００８】
生成モデルへの入力に適した画像を機器が入力可能とすることができる。
【図面の簡単な説明】
【０００９】
第１の実施の形態における情報処理システムの構成例を示す図である。
入力データ、指示コマンド及び生成データの一例を示す第１の図である。
入力データ、指示コマンド及び生成データの一例を示す第２の図である。
入力データ、指示コマンド及び生成データの一例を示す第３の図である。
第１の実施の形態における機器１０のハードウェア構成例を示す図である。
第１の実施の形態における情報処理装置２０のハードウェア構成例を示す図である。
第１の実施の形態の学習時における情報処理システムの機能構成例を示す図である。
学習データ記憶部２５の構成例を示す図である。
生成モデルｍ２の学習を説明するための図である。
第１の実施の形態における動作方法判定モデルｍ１の学習処理の処理手順の一例を説明するためのフローチャートである。
第１の実施の形態の推論時における情報処理システムの機能構成例を示す図である。
学習済みの動作方法判定モデルｍ１を用いたデータ生成処理の処理手順の一例を説明するためのフローチャートである。
学習済みの動作方法判定モデルｍ１を用いたデータ生成処理における画面遷移の一例を説明するための図である。
動作方法修正テーブル１３１の構成例を示す図である。
動作方法の修正処理の処理手順の一例を説明するためのフローチャートである。
第２の実施の形態の学習時における情報処理システムの機能構成例を示す図である。
第２の実施の形態における動作方法判定モデルｍ１の学習処理の処理手順の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面に基づいて本発明の実施の形態を説明する。図１は、第１の実施の形態における情報処理システムの構成例を示す図である。図１において、スキャン、プリント、コピーなどの機能を備え、画像を入力可能な機器１０は、有線や無線のネットワークを介して情報処理装置２０に接続する。
（【００１１】以降は省略されています）

関連特許