特許ウォッチ

公開番号2025049777
公報種別公開特許公報(A)
公開日2025-04-04
出願番号2023158172
出願日2023-09-22
発明の名称図形配置装置、図形配置方法及びプログラム
出願人日本電信電話株式会社,国立大学法人電気通信大学
代理人弁理士法人ITOH,個人,個人,個人
主分類G06T 11/80 20060101AFI20250327BHJP(計算;計数)
要約【課題】従来、人間同士でしか実現することが難しかった共同作業を部分的に代替できるようにする。
【解決手段】図形オブジェクトを再配置することで新たな図形配置画像を生成する図形配置装置であって、第1の図形配置画像を入力データとし、当該第1の図形配置画像に含まれる各図形オブジェクトを再配置して、生成可能な図形配置画像及びテキストの名付け表現の組を複数の候補として出力データとする画像候補生成部12と、前記複数の候補のうち、所定の候補に係る組を選択する選択部14と、前記選択された組における第2の図形配置画像、及び当該第2の図形配置画像を修正するための第1の図形配置命令情報を入力データとし、前記第2の図形配置画像に対する前記第1の図形配置命令情報に従って、前記第2の図形配置画像内の各図形オブジェクトの配置を変更することで、第3の図形配置画像を生成する図形配置画像生成部15とを有する図形配置装置である。
【選択図】図1
特許請求の範囲【請求項１】
図形オブジェクトを再配置することで新たな図形配置画像を生成する図形配置装置であって、
第１の図形配置画像を入力データとし、当該第１の図形配置画像に含まれる各図形オブジェクトを再配置して、生成可能な図形配置画像及びテキストの名付け表現の組を複数の候補として出力データとする画像候補生成部と、
前記複数の候補のうち、所定の候補に係る組を選択する選択部と、
前記選択された組における第２の図形配置画像、及び当該第２の図形配置画像を修正するための第１の図形配置命令情報を入力データとし、前記第２の図形配置画像に対する前記第１の図形配置命令情報に従って、前記第２の図形配置画像内の各図形オブジェクトの配置を変更することで、第３の図形配置画像を生成する図形配置画像生成部と、
を有する図形配置装置。
続きを表示（約 870 文字）【請求項２】
前記画像候補生成部は、画像及びテキストと新たな画像との関係を学習された第１の機械学習モデル用いて前記複数の候補を出力し、図形配置画像生成部は画像及びテキストと新たな画像との関係を学習された第２の機械学習モデル用いて前記第３の図形配置画像を出力する、請求項１に記載の図形配置装置。
【請求項３】
請求項１又は２に記載の図形配置装置であって、
前記図形配置画像生成部によって生成された前記第３の図形配置画像、及び新たに取得された第４の図形配置画像を入力データとし、前記第３の図形配置画像を前記第４の図形配置画像に近づけるための第２の図形配置命令情報を生成する図形配置命令生成部を有する、図形配置装置。
【請求項４】
図形配置命令生成部は、画像及びテキストと新たな画像との関係を学習された第３の機械学習モデル用いて前記第２の図形配置命令情報を出力する、請求項３に記載の図形配置装置。
【請求項５】
図形オブジェクトを再配置することで新たな図形配置画像を生成する図形配置装置が実行する図形配置方法であって、
前記図形配置装置は、
第１の図形配置画像を入力データとし、当該第１の図形配置画像に含まれる各図形オブジェクトを再配置して、生成可能な図形配置画像及びテキストの名付け表現の組を複数の候補として出力データとする画像候補生成処理と、
前記複数の候補のうち、所定の候補に係る組を選択する選択処理と、
前記選択された組における第２の図形配置画像、及び当該第２の図形配置画像を修正するための第１の図形配置命令情報を入力データとし、前記第２の図形配置画像に対する前記第１の図形配置命令情報に従って、前記第２の図形配置画像内の各図形オブジェクトの配置を変更することで、第３の図形配置画像を生成する図形配置画像生成処理と、
を実行する図形配置方法。
【請求項６】
コンピュータに、請求項５に記載の方法を実行させるプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、図形オブジェクトを再配置することで新たな図形配置画像を生成する技術に関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
近年、対話システムにおいて、人間はスマートスピーカ等のコンピュータと対話を行い、種々の情報を得たり、要望を満たしたりすることができる。また、AI対話型接客システム等の所定のタスクを達成する対話システムだけではなく、日常会話(雑談対話)を行うぬいぐるみ型ロボット等の対話システムも存在する。これらによって、人間は精神的な安定を得たり、承認欲を満たしたり、信頼関係を築いたりすることができる。対話システムの類型については非特許文献１に記載されている。
【０００３】
また、非特許文献２では、近年の大規模言語モデルを用いても、長期のやり取りが困難な旨が書かれており、ユーザの満足度が低いという問題がある。この問題を解決するための手段として、共通基盤と呼ばれる情報を対話システムに持たせる方法がある。「共通基盤」は、対話において、対話の参加者の間で共有される知識や信念などの情報を示し、相互信念と呼ばれる場合もある。コンピュータが対話内容を処理するためには、コンピュータによって扱われる共通基盤は重要な概念の一つとされて来たが、非特許文献３には、共通基盤が構築される過程を分析した研究は少ない旨が開示されている。
【０００４】
また、非特許文献４には、共通基盤を構築するための試みとして、２名の作業者が課題を達成するテキストチャットを収集し、これを分析した研究内容が開示されている。非特許文献４にあるような図形を二者で配置する課題はクリエイティブな共同作業の一種であり、対話システムがユーザと共にこのようなクリエイティブな作業を実施できることが望まれる。
【先行技術文献】
【非特許文献】
【０００５】
「自然言語処理シリーズ７対話システム」,奥村学監修，中野幹生，駒谷和範，船越孝太郎，中野有紀子共著発行2015.2.13
Sparks of Artificial General Intelligence: Early experiments with GPT-4 <https://arxiv.org/abs/2303.12712>
「対話システムにおける基盤化処理」,中野幹生, 言語・音声理解と対話処理研究会SIG-SLUD-B901-01, 2019.
「共同図形配置課題における対話の共通基盤構築過程の分析」,光田航,東中竜一郎,大賀悠平,杵渕哲也, 言語処理学会第27回年次大会発表論文集(NLP2021),2021.3
「共通基盤の構築における名付けの有用性の分析」,齋藤結, 光田航, 東中竜一郎, 南泰浩, 言語処理学会第29回年次大会発表論文集(NLP2023), 2023.3.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、既存の対話システムは共通基盤を適切に扱うことができていないため、対話を通じて作業者間で決まっていった情報を適切に保持しつつ、対話を行ったり共同作業を行ったりすることは困難である。例えば、図２に示すように、人間の作業者間では、目標となる図形配置（まだ存在しない配置）に対して名付け（例えば「トラック」）を行ったり、図形の配置を伝える際に名付け（例「トラックの運転席」）を行ったりする（非特許文献５参照）。このように、グラフィカルな要素を含む作業対象に対して、目標を設定して言語化したり（目標となる図形配置の考案）、言語化された作業を理解したり（図形配置の理解）する機能が必要となるが、これらの機能はお互いの認識を合わせるために共通基盤が必要となるため、このような作業に対して、対話システムとの共同作業は困難である。
【０００７】
本発明は、上述の点に鑑みてなされたものであって、従来は人間同士でしか実現することが難しかった共同作業を部分的に代替できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、請求項１に係る発明は、図形オブジェクトを再配置することで新たな図形配置画像を生成する図形配置装置であって、第１の図形配置画像を入力データとし、当該第１の図形配置画像に含まれる各図形オブジェクトを再配置して、生成可能な図形配置画像及びテキストの名付け表現の組を複数の候補として出力データとする画像候補生成部と、前記複数の候補のうち、所定の候補に係る組を選択する選択部と、前記選択された組における第２の図形配置画像、及び当該第２の図形配置画像を修正するための第１の図形配置命令情報を入力データとし、前記第２の図形配置画像に対する前記第１の図形配置命令情報に従って、前記第２の図形配置画像内の各図形オブジェクトの配置を変更することで、第３の図形配置画像を生成する図形配置画像生成部と、を有する図形配置装置である。
【発明の効果】
【０００９】
以上説明したように本発明によれば、従来は人間同士でしか実現することが難しかった共同作業を部分的に代替できるという効果を奏する。
【図面の簡単な説明】
【００１０】
実施形態に係る図形配置装置の機能構成図である。
名付けを通して共通基盤の構築が進む対話の例を示す図である。
（ａ）図形候補生成部の入力データの例を示し、（ｂ）図形候補生成部の出力データの例を示す図である。
（ａ）図形配置画像生成部の入力データの例を示し、（ｂ）図形配置画像生成部の出力データの例を示す図である。
図形配置画像生成部の学習データの例を示す図である。
実施形態に係る図形配置装置の電気的なハードウェア構成図である。
実施形態に係る図形配置装置の処理又は動作を示すフローチャートである。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許