特許ウォッチ

公開番号2024035150
公報種別公開特許公報(A)
公開日2024-03-13
出願番号2023137896
出願日2023-08-28
発明の名称エンティティを制御するためのシステムおよび方法
出願人三菱電機株式会社
代理人弁理士法人深見特許事務所
主分類G05B 13/02 20060101AFI20240306BHJP(制御;調整)
要約【課題】エンティティを制御するためのコントローラを提供する。
【解決手段】探索環境120において、コントローラは、階層型マルチモーダル強化学習(RL)ニューラルネットワークを記憶するためのメモリとプロセッサとを備える。階層型マルチモーダルRLニューラルネットワークは、第1のレベルコントローラと2つの第2のレベルコントローラとを含む。第2のレベルコントローラの各々は、第1のモダリティに関連する第1のサブレベルコントローラと、第2のモダリティに関連する第2のサブレベルコントローラとを含む。プロセッサは、入力データ及び階層型マルチモーダルRLニューラルネットワークの状態に基づいて、第1のレベルコントローラを使用して、2つの第2のレベルコントローラのうちの1つを選択する。選択された第2のレベルコントローラは、制御アクションのセットを決定し、制御アクションのセットに基づいてエンティティを制御する。
【選択図】図2
特許請求の範囲【請求項１】
エンティティを制御するためのコントローラであって、
階層型マルチモーダル強化学習（ＲＬ）ニューラルネットワークを記憶するためのメモリを備え、前記階層型マルチモーダルＲＬニューラルネットワークは、第１のレベルコントローラと、少なくとも２つの第２のレベルコントローラとを含み、前記少なくとも２つの第２のレベルコントローラは、少なくとも、第１のモダリティに関連する第１のサブレベルコントローラと、第２のモダリティに関連する第２のサブレベルコントローラとを含み、前記第１のモダリティは、前記第２のモダリティとは異なり、前記コントローラはさらに、
プロセッサを備え、前記プロセッサは、
前記第１のレベルコントローラを使用して、少なくとも入力データおよび前記階層型マルチモーダルＲＬニューラルネットワークの状態に基づいて、タスクに関連する第１のサブタスクを実行するために、前記少なくとも２つの第２のレベルコントローラのうちの１つを選択するよう構成され、
前記少なくとも２つの第２のレベルコントローラからの前記選択された第２のレベルコントローラに、前記第１のサブタスクを実行するために、制御アクションのセットを決定させるよう構成され、
前記選択された第２のレベルコントローラによって決定された前記制御アクションのセットに基づいて前記エンティティを制御するよう構成される、コントローラ。
続きを表示（約 2,000 文字）【請求項２】
前記プロセッサは、さらに、
前記選択された第２のレベルコントローラを使用して、前記第１のサブタスクの前記実行で、前記階層型マルチモーダルＲＬニューラルネットワークの前記状態を更新するよう構成され、
前記第１のレベルコントローラを使用して、少なくとも、前記入力データ、前記階層型マルチモーダルＲＬニューラルネットワークの以前の状態、および前記階層型マルチモーダルＲＬニューラルネットワークの前記更新された状態に基づいて、前記タスクに関連する第２のサブタスクを実行するために、前記少なくとも２つの第２のレベルコントローラのうちの１つを選択するよう構成され、前記第２のサブタスクは、前記タスクを完了するために前記第１のサブタスクの後に実行される、請求項１に記載のコントローラ。
【請求項３】
前記プロセッサは、
前記少なくとも２つの第２のレベルコントローラの各々の選択に関連付けられるリソース制約を決定するよう構成され、
前記第１のレベルコントローラを使用して、前記リソース制約に基づいて、前記少なくとも２つの第２のレベルコントローラのうちの１つを選択するよう構成される、請求項１に記載のコントローラ。
【請求項４】
前記第１のモダリティに関連する前記第１のサブレベルコントローラおよび前記第２のモダリティに関連する前記第２のサブレベルコントローラによって使用される、前記入力データまたは前記階層型マルチモーダルＲＬニューラルネットワークの前記状態のうちの少なくとも１つは、異なる、請求項１に記載のコントローラ。
【請求項５】
前記第１のサブレベルコントローラは、映像情報に基づいて前記制御アクションのセットを決定するよう構成され、前記第２のサブレベルコントローラは、音声情報に基づいて前記制御アクションのセットを決定するよう構成される、請求項１に記載のコントローラ。
【請求項６】
前記第１のサブレベルコントローラに関連する前記第１のモダリティは音声または映像ベースのモダリティであり、前記第２のサブレベルコントローラに関連する前記第２のモダリティは自然言語ベースのモダリティである、請求項１に記載のコントローラ。
【請求項７】
前記第１のレベルコントローラは、前記第１のサブレベルコントローラの選択に向けてバイアスされる、請求項６に記載のコントローラ。
【請求項８】
前記第１のサブレベルコントローラは、前記制御アクションのセットを、センサベースの音声情報またはセンサベースの映像情報のうちの少なくとも１つに基づいて決定するよう構成され、
前記第２のサブレベルコントローラは、前記制御アクションのセットを自然言語命令に基づいて決定するよう構成される、請求項６に記載のコントローラ。
【請求項９】
前記選択された第２のレベルコントローラが前記第１のモダリティに関連する前記第１のサブレベルコントローラである場合、前記プロセッサは、さらに、
目標推定値ベースのモダリティを含む前記第１のモダリティに関連する前記第１のサブレベルコントローラを使用して、前記階層型マルチモーダルＲＬニューラルネットワークの前記状態に関連付けられる状態変数の第１のセットと前記入力データとに少なくとも基づいて前記制御アクションのセットを決定するよう構成され、前記入力データは、前記センサベースの音声情報または前記センサベースの映像情報のうちの少なくとも１つを含み、前記プロセッサは、さらに、
前記第１のサブレベルコントローラを使用して、前記第１のサブタスクの前記実行に基づいて前記状態変数の第１のセットを更新するよう構成される、請求項８に記載のコントローラ。
【請求項１０】
前記選択された第２のレベルコントローラが、自然言語ベースのモダリティを含む前記第２のモダリティに関連する前記第２のサブレベルコントローラである場合、前記プロセッサは、さらに、
前記第２のサブレベルコントローラを使用して、前記階層型マルチモーダルＲＬニューラルネットワークの前記状態に関連付けられる状態変数の第２のセットと前記入力データとに少なくとも基づいて前記制御アクションのセットを決定するよう構成され、前記入力データは前記自然言語命令を含み、前記状態変数の第１のセットは、前記状態変数の第２のセットとは異なり、前記プロセッサは、さらに、
前記第２のサブレベルコントローラを使用して、前記第１のサブタスクの前記実行に基づいて前記状態変数の第２のセットを更新するよう構成される、請求項９に記載のコントローラ。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、概してエンティティ制御に関し、より詳細には、特定のタスクを実行するようにエンティティを訓練および制御することに関する。
続きを表示（約 3,300 文字）【背景技術】
【０００２】
人間を支援するロボットエージェントは、ロボット工学および人工知能（ＡＩ）の見込みを達成することの中心である。ロボット工学およびＡＩにおける最近の開発は、事前定義されたタスクを解決するために現実的な仮想世界を自律的にナビゲートすることができるエンティティ（エージェントまたはロボットなど）を設計することにある。例えば、視覚および言語ナビゲーション（ＶＬＮ）では、エンティティまたはエージェントは、自然言語で提供される命令に従って目標場所にナビゲートするか、または所与の自然言語への回答を求めて視覚世界を探索してもよい。
【０００３】
しかしながら、ＶＬＮエンティティまたはエージェントは、聴力がなく、すなわち、環境において、いかなる音声イベントも聴取することはできない、または音声的手掛かりを受信することはできない、と仮定される。したがって、現実的な仮想世界において展開および動作するＶＬＮエンティティは、そのような環境を確実にナビゲートすることができない場合がある。この欠点に対処するために、ナビゲーションタスクは、仮想シーンにおいて音声源の位置を特定するために再定式化されてもよい。しかしながら、ナビゲーションタスクの再定式化は、エンティティまたはエージェントが従うべき自然言語命令がない。したがって、エンティティまたはエージェントは、依然として、現実的な仮想世界において確実に動作することができない場合がある。
【０００４】
現実的な仮想世界におけるナビゲーションは、視聴覚的であるだけでなく、複雑で確率論的であることが多い。特に、現実的な仮想世界でナビゲートするエンティティまたはエージェントは、ナビゲーションの成功のために、音声入力、視覚入力、および言語入力等の異なる入力モダリティ間の相乗効果を求めなければならない場合がある。例えば、高齢者介護施設では、ロボットエージェントは、倒れる人の音がどこから聞こえるかを見つける必要があり得る。一方で、そのような音は散発的であり、したがって、エンティティまたはエージェントは、目標に到達するために視聴覚的モダリティのセマンティックな知識を使用しなければならない。他方では、そのようなイベントは、適時に対応される必要があり、エンティティまたはエージェントは、それが行うナビゲーションミスの数を最小限にしなければならない場合がある。ミスを最小限に抑えるために、エンティティまたはエージェントは、目標に到達するために、自身のナビゲーションアクションが不確実であるときに、人間の助けを必要としてもよい。
【０００５】
ナビゲーションタスクについて複数のモダリティを有するそのような入力の重要な課題は、エンティティまたはエージェントが、いつクエリを問い合わせるべきか、およびいつ視聴覚的手掛かりに従って目標に到達するべきかを決定することができないことである。
【０００６】
そのために、絶対正しい導き手に多くの回数問い合わせることは、エージェントの自律性を損なう可能性があり、導き手が人間である場合、あまり好ましくない可能性がある。他方、より少ない回数で導き手に問い合わせることは、エンティティまたはエージェントに、目標に到達することなく無限に環境を探索させるかもしれない。さらに、自然言語でエンティティまたはエージェントに提供される命令は、自然言語のノイズおよび複雑さのために、ナビゲート可能な命令に変換することが困難である場合がある。したがって、エンティティまたはエージェントは、ナビゲーションタスクの完了時間の増加、ナビゲーションタスクの完了の失敗、ナビゲーションタスクの不正確な実行、ナビゲーションタスクを完了するための経路計画の実現可能性の喪失、および特に現実的な仮想世界においてタスクを完了するための入力のモダリティの数の制限による経路品質の低下（余分な操作、コストの増加、および精度の低下など）などの様々な制限に悩まされる。
【発明の概要】
【０００７】
いくつかの実施形態の目的は、現実的な視覚世界における音声源の位置特定を可能にする視聴覚原語（ＡＶＬ）実施ナビゲーション技術を開示することである。いくつかの実施形態の別の目的は、音声源が現実的な視覚世界において位置を特定される視聴覚言語（ＡＶＬ）実施ナビゲーション方法を開示することである。いくつかの実施形態の別の目的は、エンティティが視聴覚言語手掛かりを使用して音声源にナビゲートすることを開示することである。いくつかの実施形態の別の目的は、エンティティがナビゲーションステップを決定する際にその不確実性を暗黙的にモデル化し、ナビゲーション命令のために導き手からの支援を求めるように、音声源に到達するためのナビゲーションステップを生成するための新たなタイプのパラメータ化を開示することである。いくつかの実施形態の別の目的は、例えば、音声、視覚、または短い自然言語文からモダリティを選択することによって、受信されるべき入力される手掛かりのタイプを決定する、そのようなシステムおよび方法を提供することである。
【０００８】
いくつかの実施形態は、エンティティが、ナビゲーション命令についていつクエリを尋ねるか、または導き手から支援を求めるか、およびいつ視聴覚的手掛かりに従って目標または音声源に到達するかを決定する必要があってもよい、という認識に基づく。視聴覚的手掛かりに基づいていつ導き手に問い合わせるかまたはナビゲートするかの決定は、極めて重要であり、なぜならば、あまりにも多くのクエリを尋ねることはエージェントの自律性を損ない得、導き手が人間である場合、あまり好ましくなく、また、問い合わせの回数があまりにも少ないと、エンティティが目標に到達することなくシーンを無限に探索し得るからである。
【０００９】
エンティティに提供される命令は自然言語であるが、そのような命令はしばしばノイズが多く、ナビゲート可能な命令に正しく翻訳することが困難である。いつ導き手に問い合わせるかの決定を考慮する必要があり、その結果、自然言語命令を翻訳して目標に到達するまでの時間が短くなり得る。
【００１０】
いくつかの実施形態は、いつ問い合わせるべきかを決定するために上位ポリシー（第１のレベルコントローラと呼ばれる）を学習することと、ナビゲートするために複数の下位ポリシー（第２のレベルコントローラと呼ばれる）を学習することとからなる、階層型強化学習フレームワークが、ナビゲーション中のエラーまたはミスを低減し、エンティティの無限の操縦を防止し得る、という理解に基づく。これにより、目標に到達する時間がさらに短縮され得る。しかしながら、いつ導き手に問い合わせるべきかを決定するために不確実性をモデル化することは、不確実性がアクション予測確率に関して定量化されるか、またはエンティティがナビゲートするのにいつ紛失されるかをチェックするためにヒューリスティックスを使用するかのいずれかであり、目標に到達するためにナビゲーションタスクを完了する時間を短縮することができない場合がある。さらに、エンティティがいつミスを起こしているかを識別すること、およびこの情報を組み込んで、いつ問い合わせるかを識別することは、エンティティの将来のアクションの完全な分析を必要とし得る。これはまた、エンティティのミスまたは不必要な操作を防止することに失敗し、それによって、ナビゲーションタスクを完了するための時間を低減することに失敗し得る。したがって、いくつかの実施形態の目的は、環境と対話し、環境を探索し、報酬を収集することによって、現在の観測および履歴情報に基づいていつ問い合わせるべきかを学習して、操縦におけるミスがより少なく、目標へのより速いナビゲーションを達成する、そのような方法を提供することである。
（【００１１】以降は省略されています）

関連特許