特許ウォッチ

公開番号2024125998
公報種別公開特許公報(A)
公開日2024-09-19
出願番号2023203614
出願日2023-12-01
発明の名称ロボットを制御するためのシステムおよび方法
出願人三菱電機株式会社
代理人弁理士法人深見特許事務所
主分類G06N 3/092 20230101AFI20240911BHJP(計算;計数)
要約【課題】ロボットを制御するコントローラを提供する。
【解決手段】ロボット100において、コントローラは、第1レベルコントローラ及び3つの第2レベルコントローラを含む階層型マルチモーダル強化学習(RL)ニューラルネットワークを備え、第2レベルコントローラは、事前定義の質問に基づき入力データを受信する第1サブレベルコントローラ、RLニューラルネットワークの状態に基づき検証質問を生成し入力データを受信する第2サブレベルコントローラ及びRLニューラルネットワークの状態に基づき入力データを決定する第3サブレベルコントローラを備え、コントローラは、RLニューラルネットワークの状態に基づきタスクに関連する第1対話を実行する第1レベルコントローラを用いて第2レベルコントローラの1つを選択し、対応の入力データに基づき、選択した第2レベルコントローラを用いて制御コマンドを生成/実行してロボットの動作を制御する。
【選択図】図1
特許請求の範囲【請求項１】
ロボットを制御するためのコントローラであって、
階層型マルチモーダル強化学習（reinforcement learning：ＲＬ）ニューラルネットワークを格納するように構成されたメモリを備え、
前記階層型マルチモーダルＲＬニューラルネットワークは、第１のレベルコントローラと、少なくとも３つの第２のレベルコントローラとを含み、前記少なくとも３つの第２のレベルコントローラは、第１のサブレベルコントローラと、第２のサブレベルコントローラと、第３のサブレベルコントローラとを備え、
前記第１のサブレベルコントローラは、事前定義された質問のセットに基づいて入力データを受信するように構成され、
前記第２のサブレベルコントローラは、前記階層型マルチモーダルＲＬニューラルネットワークの状態に基づいて検証質問を生成することによって前記入力データを受信するように構成され、
前記第３のサブレベルコントローラは、前記階層型マルチモーダルＲＬニューラルネットワークの前記状態に基づいて前記入力データを決定するように構成され、前記コントローラはさらに、
プロセッサを備え、前記プロセッサは、
前記第１のレベルコントローラを用いて、少なくとも前記階層型マルチモーダルＲＬニューラルネットワークの前記状態に基づいて、タスクに関連する第１の対話を実行するために前記少なくとも３つの第２のレベルコントローラのうちの１つを選択し、
前記選択された第２のレベルコントローラを用いて、対応する入力データに基づいて制御コマンドを生成し、
前記制御コマンドを実行することによって前記ロボットの動作を制御するように構成される、コントローラ。
続きを表示（約 2,200 文字）【請求項２】
前記選択された第２のレベルコントローラが前記第１のサブレベルコントローラである場合、前記プロセッサはさらに、
前記階層型マルチモーダルＲＬニューラルネットワークの前記状態に基づいて、前記第１のサブレベルコントローラに、前記事前定義された質問のセットから第１の事前定義された質問を選択させ、
前記第１のサブレベルコントローラに、自然言語命令を含む第１の入力データを受信させ、
前記第１のサブレベルコントローラに、前記命令に基づいて前記制御コマンドを生成させるように構成される、請求項１に記載のコントローラ。
【請求項３】
前記選択された第２のレベルコントローラが前記第２のサブレベルコントローラである場合、前記プロセッサはさらに、
画像フレームのセットを受信するように構成され、前記画像フレームのセットは、少なくとも深度占有マップ、または前記ロボットを取囲むパノラマビューを示し、前記プロセッサはさらに、
前記第２のサブレベルコントローラに、前記階層型マルチモーダルＲＬニューラルネットワークの前記状態に基づいて前記検証質問を生成させ、
前記第２のサブレベルコントローラに、自然言語検証応答を含む第２の入力データを受信させ、
前記第２のサブレベルコントローラに、前記検証応答に基づいて前記制御コマンドを生成させるように構成される、請求項１に記載のコントローラ。
【請求項４】
前記第２の入力データが前記検証応答および自然言語データを含む場合、前記プロセッサはさらに、
前記第２のサブレベルコントローラに、前記検証応答に基づいて前記制御コマンドを生成させ、
前記自然言語データおよび前記制御コマンドの実行に基づいて前記階層型マルチモーダルＲＬニューラルネットワークの前記状態を更新するように構成される、請求項３に記載のコントローラ。
【請求項５】
前記第２の入力データが否定的な検証応答を含む場合、または、前記第２のサブレベルコントローラが前記第２の入力データの受信に失敗する場合、前記プロセッサはさらに、
前記第２のサブレベルコントローラの動作を終了させ、
外部入力に基づいて前記第１の対話を実行するために、前記第１のサブレベルコントローラまたは前記第３のサブレベルコントローラのうち少なくとも１つを実行させるように構成される、請求項３に記載のコントローラ。
【請求項６】
前記第２の入力データが否定的な検証応答を含む場合、または、前記第２のサブレベルコントローラが前記第２の入力データの受信に失敗する場合、前記プロセッサはさらに、
前記第２のサブレベルコントローラに、前記階層型マルチモーダルＲＬニューラルネットワークの前記状態に基づいて第１の制御コマンドを生成させ、
前記第２のサブレベルコントローラに、前記第１の制御コマンドに基づいて前記ロボットを制御させ、
前記第２のサブレベルコントローラに、前記第１の制御コマンドの実行に基づいて前記階層型マルチモーダルＲＬニューラルネットワークの前記状態を更新させ、
前記第２のサブレベルコントローラに、前記階層型マルチモーダルＲＬニューラルネットワークの前記更新された状態に基づいて第２の検証質問を生成させるように構成される、請求項３に記載のコントローラ。
【請求項７】
前記階層型マルチモーダルＲＬニューラルネットワークは、前記第２のサブレベルコントローラによって生成された前記検証質問が、前記制御コマンドを生成するために前記第１のサブレベルコントローラによって用いられる前記事前定義された質問のセットのうちの１つに対する回答を形成する場合、ペナルティを受けることなく、強化学習を用いてエンドツーエンドでトレーニングされる、請求項１に記載のコントローラ。
【請求項８】
前記第１のサブレベルコントローラまたは前記第２のサブレベルコントローラのうちの少なくとも１つによって受信される前記入力データはオラクルによって生成される、請求項１に記載のコントローラ。
【請求項９】
前記プロセッサはさらに、
前記検証質問に関する検証応答を前記オラクルから受信するように構成され、前記検証応答を前記オラクルから受信することは、前記オラクルが前記検証質問を復号することと、前記ロボットの現在の姿勢から前記タスクの目標姿勢までの間の最短経路と前記復号された検証質問に基づく経路との間の照合に基づいて前記検証応答を提供することと、に基づいて行なわれ、前記プロセッサはさらに、
前記検証応答に基づいて前記階層型マルチモーダルＲＬニューラルネットワークをトレーニングするように構成される、請求項８に記載のコントローラ。
【請求項１０】
前記選択された第２のレベルコントローラが前記第３のサブレベルコントローラである場合、前記プロセッサはさらに、
前記第３のサブレベルコントローラに、前記階層型マルチモーダルＲＬニューラルネットワークの前記状態に基づいて前記制御コマンドを生成させるように構成される、請求項１に記載のコントローラ。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、概してロボット制御に関し、より特定的には、様々な入力モードに基づいてタスクを実行するようにロボットをトレーニングおよび制御することに関する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
ロボット工学および人工知能（artificial intelligence：ＡＩ）の目的は、人と共存し、人を支援し、人と自然に対話するロボットエージェントを作成することである。ディープニューラルネットワークの発展に伴い、現実世界のタスクを解決するために現実的な３次元環境を自律的にナビゲートし得るエージェントまたはロボットが構築されてきた。一例では、当該タスクは、音声目標のナビゲーション、すなわち、環境内で音を出すオブジェクトの位置を特定する視覚的ナビゲーションや、視覚・言語ナビゲーション（vision and language navigation：ＶＬＮ）、すなわち、自然言語で提供される命令に従った目標位置へのナビゲーション、または所与の自然言語への回答を求める視覚世界を探索する目標位置へのナビゲーション等に関連し得る。
【０００３】
しかしながら、現実的な仮想世界で展開されて動作するロボットは、このような環境内を確実にナビゲートすることができない可能性がある。この欠点に対処するために、強化学習（reinforcement learning：ＲＬ）ポリシーは、ナビゲートすべき視覚環境および音声の３Ｄ空間指向性を用いるようにトレーニングされ得る。しかしながら、現実世界の状況では、音声は散発的であったり、断続的であったり、または他の音と混同されたりする可能性があるので、当該音声の位置特定が困難になる恐れがある。したがって、ロボットは、ナビゲーションタスクを実行するために現実的な仮想世界で確実に動作できない可能性もある。特に、このような音は散発的であるため、ロボットは目標に到達するために視聴覚モダリティの意味論的知識を用いなければならない。さらに、このような事象は適時に対処される必要があり、ロボットは、当該ロボットが犯すナビゲーションの誤りの数を最小限にしなければならない可能性もある。このような誤りを最小限にするために、ロボットは、このような不確実な状況において誤ったナビゲーションステップを行なって目標に到達するためのナビゲーションタスクの進行を遅らせるのではなく、ナビゲーションガイダンスのためのオラクル（oracle、導き手）に支援を求めなければならない場合もある。
【０００４】
ロボットにそのナビゲーションタスクを成功させるための重要な課題は、ナビゲーションのために環境からの視聴覚キューをいつ用いるかと、オラクルといつ対話するかとを決定する能力をロボットに装備することである。
【０００５】
しかしながら、このようなオラクルとの対話は交換条件をもたらす。すなわち、あまりにも頻繁なオラクルとの対話はロボットの自律性に影響を及ぼす可能性があり、かつ、仮にオラクルが人である場合にはあまり望ましくない可能性があり、逆に、対話が少なければ、ロボットが目標に到達することなく環境内を無限に探索することとなる可能性もある。加えて、自然言語でロボットに提供される命令は、自然言語がもつノイズおよび複雑さのせいで、ナビゲート可能な命令に翻訳するのが困難な場合もある。したがって、ロボットは、特に現実的な仮想世界においてはタスクを完了するための入力のモダリティの数に制限があるせいで、ナビゲーションタスクの完了にかかる時間の増加、ナビゲーションタスクの完了の失敗、ナビゲーションタスクの不正確な実行、ナビゲーションタスクを完了するための経路計画の実現可能性の喪失、および、経路品質の低下（余分な操作、コストの増加、および精度の低下等）等の様々な制限を被る可能性がある。
【発明の概要】
【０００６】
いくつかの実施形態の目的は、現実的な視覚世界における音源の位置特定およびオラクルとの双方向対話を可能にする双方向視聴覚言語具現化ナビゲーション（bi-directional audio-visual-language embodied navigation：ＢＩ－ＡＶＬＥＮ）技術を開示することである。いくつかの実施形態の別の目的は、音源が現実的な視覚世界において位置特定されており、音源への効率的なナビゲーションのためにオラクルとの双方向対話が実行されるＢＩ－ＡＶＬＥＮ法を開示することである。いくつかの実施形態の別の目的は、ロボットが、視聴覚キューを有効に用いる能力を有すること、ならびに、音源が散発的または断続的である場合等の不確実な場合にロボットが人の支援を求めるように装備されることを開示することである。いくつかの実施形態の別の目的は、対応するモダリティ、例えば、音声、視覚、または短い自然言語文に関連するサブレベルコントローラを選択することによって、受信すべき入力キューのタイプを決定する、上述のようなシステムおよび方法を提供することである。
【０００７】
いくつかの実施形態の目的は、オラクルと対話して質問を行なうとともに自由形式の自然言語で命令を受信するＢＩ－ＡＶＬＥＮロボットを開示することである。
【０００８】
いくつかの実施形態は、いつ問合せを要求するかまたはナビゲーション命令についてオラクルにヘルプを求めるか、および、目標または音源に到達するためにいつ視聴覚キューに従うか、をロボットが決定する必要があり得るという認識に基づいている。視聴覚キューに基づいてオラクルにいつ問合わせするかまたはいつナビゲートするかについての決定は極めて重要である。なぜなら、あまりにも多くの問合せを行なうと、ロボットの自律性に影響を及ぼす可能性があり、オラクルが人である場合はあまり好ましくないからであり、かつ、問合せがあまりにも少な過ぎると、目標に到達することなくロボットに無限に場面の探索をさせてしまう可能性があるからである。
【０００９】
いくつかの実施形態は、自然言語でオラクルまたは人とシームレスに対話し得るロボットを作成することが様々な現実世界シナリオにおいて非常に有用であるという認識に基づいている。このようなシナリオの例は、人の提案を組込んだ自律的な車両ナビゲーション、ロボット支援型アセンブリ、ならびにロボット探索および救助を含み得るがこれらに限定されない。
【００１０】
いくつかの実施形態は、人とロボットとの対話シナリオを用いることで、ＢＩ－ＡＶＬＥＮロボットが３Ｄシーンを自律的にナビゲートして、シーン内の音を出すオブジェクトを位置特定すること、すなわち、音声目標にナビゲートしてこれに到達し音声目標ナビゲーションタスクを実行すること、が可能になり得るという認識に基づいている。
（【００１１】以降は省略されています）

関連特許