特許ウォッチ

公開番号2024126671
公報種別公開特許公報(A)
公開日2024-09-20
出願番号2023035227
出願日2023-03-08
発明の名称学習システムおよび学習方法
出願人日本電気株式会社
代理人個人,個人
主分類G06N 3/092 20230101AFI20240912BHJP(計算;計数)
要約【課題】個々の無人移動機に自機の行動を決定させるための複数種類のニューラルネットワークを生成することができる学習システムを提供する。
【解決手段】仮想無人機30は、シミュレータ40によって与えられた状態に応じた行動を決定する。シミュレータ40は、仮想無人機30が決定した行動が行われた場合の状態を決定し、状態に応じた報酬を決定する。仮想無人機30は、状態と、行動と、報酬との組の系列データを生成する。学習器50は、系列データと、報酬の分散の重み付け係数とを用いて、状態が与えられた場合に行動を決定するためのニューラルネットワークを生成する。また、学習器50は、重み付け係数を変化させ、重み付け係数毎にニューラルネットワークを生成する。
【選択図】図14
特許請求の範囲【請求項１】
無人移動機を模擬した仮想無人機と、
シミュレータと、
学習器とを備え、
前記仮想無人機は、
前記シミュレータによって与えられた状態に応じた行動を決定し、
前記シミュレータは、
前記仮想無人機が決定した行動が行われた場合の状態を決定し、前記状態に応じた報酬を決定し、
前記仮想無人機は、
前記状態と、前記行動と、前記報酬との組の系列データを生成し、
前記学習器は、
前記系列データと、前記報酬の分散の重み付け係数とを用いて、前記状態が与えられた場合に行動を決定するためのニューラルネットワークを生成し、
前記学習器は、
前記重み付け係数を変化させ、前記重み付け係数毎に前記ニューラルネットワークを生成する
ことを特徴とする学習システム。
続きを表示（約 2,100 文字）【請求項２】
前記仮想無人機は、
情報を収集し、収集した情報を通信によって中央管理装置に伝達するための無人移動機を模擬した仮想無人機である
請求項１に記載の学習システム。
【請求項３】
前記状態は、
収集すべき情報の位置と、
前記無人移動機とは異なる他の無人移動機の相対的な位置と、
前記無人移動機に与えられた役割と、
前記無人移動機の周囲に存在している他の無人移動機に与えられた役割と、
全無人移動機の台数に対する、第１の役割が与えられた無人移動機の台数の割合、および、第２の役割が与えられた無人移動機の台数の割合と、
前記無人移動機の位置と、
前記無人移動機と通信可能な他の無人移動機と、
収集すべき情報を取得しているか否かを示す情報と、
障害物の情報とを
模擬した情報である
請求項２に記載の学習システム。
【請求項４】
情報を収集し、収集した情報を通信によって中央管理装置に伝達するための無人移動機であって、状態に応じた行動を決定するためのニューラルネットワークを複数搭載している無人移動機を模擬した複数の仮想無人機と、
前記中央管理装置と、
シミュレータと、
学習器とを備え、
個々の仮想無人機は、
前記シミュレータによって与えられた第１の状態に応じた行動を決定し、
前記シミュレータは、
前記仮想無人機が決定した行動が行われた場合の第１の状態を、仮想無人機毎に決定し、
前記中央管理装置は、
前記シミュレータによって与えられた第２の状態に応じて、個々の仮想無人機に送信する、第１の役割に対応するニューラルネットワークの識別情報、第２の役割に対応するニューラルネットワークの識別情報、および、個々の仮想無人機の役割を決定するという行動を行い、前記個々の仮想無人機に、前記行動の結果を送信し、
前記シミュレータは、
各仮想無人機が決定した各行動に応じて、中央管理装置に与える第２の状態を決定し、前記第２の状態に応じた報酬を決定し、
前記中央管理装置は、
前記第２の状態と、当該中央管理装置の行動と、前記報酬の組の系列データを生成し、
前記学習器は、
前記系列データを用いて、前記第２の状態が与えられた場合に前記中央管理装置の行動を決定するためのニューラルネットワークを生成する
ことを特徴とする学習システム。
【請求項５】
前記第２の状態は、
収集すべき情報の位置と、
個々の無人移動機の位置と、
収集すべき情報の収集状況とを
模擬した情報である
請求項４に記載の学習システム。
【請求項６】
無人移動機を模擬した仮想無人機が、
シミュレータによって与えられた状態に応じた行動を決定し、
前記シミュレータが、
前記仮想無人機が決定した行動が行われた場合の状態を決定し、前記状態に応じた報酬を決定し、
前記仮想無人機が、
前記状態と、前記行動と、前記報酬との組の系列データを生成し、
学習器が、
前記系列データと、前記報酬の分散の重み付け係数とを用いて、前記状態が与えられた場合に行動を決定するためのニューラルネットワークを生成し、
前記学習器が、
前記重み付け係数を変化させ、前記重み付け係数毎に前記ニューラルネットワークを生成する
ことを特徴とする学習方法。
【請求項７】
情報を収集し、収集した情報を通信によって中央管理装置に伝達するための無人移動機であって、状態に応じた行動を決定するためのニューラルネットワークを複数搭載している無人移動機を模擬した個々の仮想無人機が、
シミュレータによって与えられた第１の状態に応じた行動を決定し、
前記シミュレータが、
前記仮想無人機が決定した行動が行われた場合の第１の状態を、仮想無人機毎に決定し、
前記中央管理装置が、
前記シミュレータによって与えられた第２の状態に応じて、個々の仮想無人機に送信する、第１の役割に対応するニューラルネットワークの識別情報、第２の役割に対応するニューラルネットワークの識別情報、および、個々の仮想無人機の役割を決定するという行動を行い、前記個々の仮想無人機に、前記行動の結果を送信し、
前記シミュレータが、
各仮想無人機が決定した各行動に応じて、中央管理装置に与える第２の状態を決定し、前記第２の状態に応じた報酬を決定し、
前記中央管理装置が、
前記第２の状態と、当該中央管理装置の行動と、前記報酬の組の系列データを生成し、
学習器が、
前記系列データを用いて、前記第２の状態が与えられた場合に前記中央管理装置の行動を決定するためのニューラルネットワークを生成する
ことを特徴とする学習方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、無人移動機の行動を決定するための複数のニューラルネットワークを生成する学習システムおよび学習方法、並びに、無人移動機の役割を決定する中央管理装置の行動を決定するためのニューラルネットワークを生成する学習システムおよび学習方法に関する。
続きを表示（約 1,200 文字）【背景技術】
【０００２】
個々の無人移動機に２つの役割のどちらかを割り当てないと達成できないタスクがある。
【０００３】
例えば、山岳地帯や災害現場等において、要救助者の状況を示す情報（例えば、カメラで要救助者を撮影することによって得られる画像等）を、中央管理装置に伝達するタスクが、上記のタスクに該当する。この場合、個々の無人移動機に、「情報収集」の役割と、「通信網維持」の役割のどちらかを割り当てる必要がある。
【０００４】
全ての無人移動機に「情報収集」の役割を割り当てた場合、収集すべき情報を取得できても、その情報を、通信網を介して中央管理装置に伝達できない。
【０００５】
また、全ての無人移動機に「通信網維持」の役割を割り当てた場合、無人移動機群によって形成された通信網の範囲内の情報は、中央管理装置に伝達可能であるが、通信網の範囲外の情報は取得できないため、中央管理装置に伝達できない。
【０００６】
すなわち、全ての無人移動機に１つの役割を割り当てた場合には、タスクを達成できない。
【０００７】
そのため、一部の無人移動機に「情報収集」の役割を割り当て、残りの無人移動機に「通信網維持」の役割を割り当てる必要がある。この場合、「情報収集」の役割を持つ無人移動機が情報を取得し、「通信網維持」の役割を持つ無人移動機を介して、中央管理装置に、その情報を伝達することができる。
【０００８】
なお、非特許文献１には、倉庫内を移動するロボットが人や壁にぶつからないように、ロボットの移動経路を制御する技術が記載されている。この技術では、人や壁にぶつかるというリスクを変えるパラメータを用いている。
【先行技術文献】
【非特許文献】
【０００９】
Shinya Yasuda, Taichi Kumagai, Hiroshi Yoshida, “Cooperative Transportation Robot System Using Risk-Sensitive Stochastic Control”, IEEE/RSJ International Conference on Intelligent Robots and Systems, ２０２１年
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上記のような、個々の無人移動機に２つの役割のどちらかを割り当てないと達成できないタスクにおいて、中央管理装置が的確に個々の無人移動機の役割を割り当てることは困難である。上記の例において、一部の無人移動機に「情報収集」の役割を割り当て、残りの無人移動機に「通信網維持」の役割を割り当てるとしても、どの無人移動機に「情報収集」の役割を割り当て、どの無人移動機に「通信網維持」の役割を割り当てるのかを、的確に決定することは困難である。
（【００１１】以降は省略されています）

関連特許