特許ウォッチ

公開番号2025153776
公報種別公開特許公報(A)
公開日2025-10-10
出願番号2024056408
出願日2024-03-29
発明の名称ロボットの動作学習装置、動作学習システム、および、動作学習方法
出願人株式会社日立製作所
代理人弁理士法人磯野国際特許商標事務所
主分類G06N 3/098 20230101AFI20251002BHJP(計算;計数)
要約【課題】複数種類のロボットを制御する学習モデルに対する学習負荷を削減する。
【解決手段】ロボットの動作学習装置1は、各ロボット2a～2cについて、或る時刻における動作情報を受け付けて特徴量にそれぞれ変換する複数の第一学習モデル3a～3cと、第一学習モデル3a～3cが出力する特徴量を複数種類のロボット2a～2cに共通する次の時刻の予測特徴量に変換する共有学習モデル5と、複数種類のロボット2a～2cについて、次の時刻の予測特徴量から予測動作情報にそれぞれ変換する複数の第二学習モデル4a～4cと、ロボット2a～2cの動作に関する教師データを用いて、このロボットに関する第一学習モデルおよび第二学習モデル、共有学習モデルのうち何れかを学習させる管理部51と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
複数種類の各ロボットについて、或る時刻における動作情報を受け付けて動作特徴量にそれぞれ変換すると共に、前記時刻における外界情報を受け付けて外界特徴量にそれぞれ変換する複数の第一学習モデルと、
各前記第一学習モデルが出力する動作特徴量と外界特徴量を複数種類の前記ロボットに共通する次の時刻の予測動作特徴量に変換する共有学習モデルと、
複数種類の各前記ロボットについて、次の時刻の予測動作特徴量から予測動作情報にそれぞれ変換する複数の第二学習モデルと、
各前記ロボットの動作に関する教師データを用いて、当該ロボットに関する前記第一学習モデルおよび前記第二学習モデル、前記共有学習モデルのうち何れかを学習させる管理部と、
を備えることを特徴とするロボットの動作学習装置。
続きを表示（約 1,300 文字）【請求項２】
前記管理部は、各前記ロボットに学習されていない動作に関する教師データを用いて、前記第一学習モデルおよび前記第二学習モデルのパラメータを固定させたまま、前記共有学習モデルを学習させる、
ことを特徴とする請求項１に記載のロボットの動作学習装置。
【請求項３】
前記管理部は、新たに制御対象として追加するロボットに対応する前記第一学習モデルおよび前記第二学習モデルを新たに追加する、
ことを特徴とする請求項１に記載のロボットの動作学習装置。
【請求項４】
前記管理部は、前記共有学習モデルが学習済みの動作に関する前記追加するロボットの教師データを用いて、前記共有学習モデルのパラメータを固定させたまま、前記第一学習モデルおよび前記第二学習モデルを学習させる、
ことを特徴とする請求項１に記載のロボットの動作学習装置。
【請求項５】
共有学習モデルが学習済みの共有動作に関するロボットの教師データを新たに取得した場合、
前記管理部は、前記教師データを用いて、前記ロボットに対応する第一学習モデルおよび第二学習モデルのみを学習させる第一の学習と、前記共有動作に対応する前記共有学習モデルのみを学習させる第二の学習のうち何れか一方を実施するか、又は、前記第一の学習と前記第二の学習を交互に実施する、
ことを特徴とする請求項１に記載のロボットの動作学習装置。
【請求項６】
前記共有学習モデルは、複数の共有動作毎に設けられており、
複数の共有動作毎に設けられた前記共有学習モデルから一つが選択して実行させる動作指定部、
を更に備えることを特徴とする請求項５に記載のロボットの動作学習装置。
【請求項７】
前記共有学習モデルは、各前記第一学習モデルが出力する外界特徴量を複数の前記ロボットに共通する次の時刻の予測外界特徴量に変換する、
ことを特徴とする請求項１に記載のロボットの動作学習装置。
【請求項８】
請求項１に記載のロボットの動作学習装置と、
複数種類のロボットと、
を備えることを特徴とするロボットの動作学習システム。
【請求項９】
複数種類のロボットの動作を学習するロボットの動作学習方法であって、
或るロボットに対応する第一学習モデルが、当該ロボットの動作に関する教師データを用いて、当該ロボットの或る時刻における動作情報と外界情報を共通動作特徴量に変換する処理を学習するステップと、
共有学習モデルが、前記複数種類のロボットの動作に関する前記教師データを用いて前記複数種類のロボットに共通する動作に関する共通動作特徴量の時系列関係を学習するステップと、
前記ロボットに対応する第二学習モデルが、当該ロボットの動作に関する前記教師データを用いて、前記共有学習モデルが出力する共通動作特徴量の次の時刻における予測値を、当該ロボットの次の時刻における予測動作情報に変換する処理を学習するステップと、
を含むことを特徴とするロボットの動作学習方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、ロボットの動作データを学習することにより、自律的にロボットの動作制御シーケンスを生成するロボットシステムにおいて、複数種類のロボット、特に機構・構造、特性などが異なるロボット間でも学習情報や学習モデルの共有または転移を可能とするロボットの動作学習装置、動作学習システム、および、動作学習方法に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
製造・建設現場での作業や、鉄道・プラント・電力・ビル等のインフラ設備の保守・メンテナンス作業は、熟練のスキルが必要であり、かつ危険・重労働であるため、作業員確保が難しく、ロボットを活用した自動化が期待されている。しかし、ロボットの動作を全てプログラムとして記述する従来の制御手法では、記述されていない状況には対応できない。そのため、環境が変化しないように整備し、かつ同じ作業を繰返す用途に、ロボットの利用範囲が限定されてしまい、上記のような環境変化に対応する必要がある作業へのロボットの適用は難しい。
【０００３】
そこで、ニューラルコンピューティングをはじめとする学習を用いたＡＩ（Artificial Intelligence）が注目されている。例えば、深層学習を活用すると、ある程度の環境変化に対しては、プログラムを記述することなく、深層学習が持つ汎化性能で対処できる。また、大きな環境変化に対しても、その環境でのロボットを稼働させるための教師データを学習させることで、新たな状況に対応できるようになる。
【０００４】
しかし、このような学習手法の長所を引き出すためには、学習に用いる教師データを適切に準備し、動作情報を獲得する動作学習モデルのパラメータを適切に与えて学習を行う必要がある。教師データやパラメータが不十分な場合は、ロバスト性・汎化性のある良い動作が獲得できない。教師データとしては、環境変化に対応するため、複数のシチュエーション下での動作データが必要となり、シミュレーションを用いたデータやロボットを実際に稼働させたデータを組み合わせて、教師データを用意する。深層学習の一手法である強化学習では、数万～数億の教師データが必要となる。このように、学習手法において、教師データの取得は負荷が高いという課題がある。そのため、ロバスト性・汎化性のある質の高い動作を獲得した動作学習モデルを他のロボットでも活用できると、教師データの取得負荷など、質の高い動作を獲得するための負担が軽減できる。
【０００５】
特許文献１は、同一の構成を有する一群の動作装置で獲得した個別の動作データに基づいて学習を行って得られた複数の個別学習済モデルを統合処理し、汎用学習済モデルを得る方法を開示している。
【先行技術文献】
【特許文献】
【０００６】
特開２０２３－８９０２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の学習手法を用いると、環境変化に対してもロバストな動作が自律的に生成できるが、質の高い動作を獲得するためには、適切な質と量の教師データの取得やパラメータチューニング、計算コストなどの学習負荷が課題となっている。
複数の同一構造のロボットを利用する場合は、特許文献１に記載の方法で、複数のロボットを用いて、異なる動作の教師データを収集し、統合することで、学習負荷が軽減できる。同一構造のロボットとは、同一とみなせる構造かつ特性の範囲のことをいう。
【０００８】
また、複数の同一構造のロボットだが、目標停止位置の補正量などの特性が異なる場合、かつロボット間の特性の違いが数値的に対応が取れた補正量が明確な場合、特許文献１に記載の方法に補正量を加え、未学習ロボットに、学習済ロボットの学習結果を転移させることにより、学習負荷が軽減できる。しかしながら、同一構造のロボットであっても特性の違いが不明である場合や、ロボットの機構・構造が異なる場合は、学習済みの学習情報や学習モデルの共有または転移ができない。よって、それぞれのロボット毎に適切な教師データを取得し、パラメータチューニングを行う必要がある。つまり、質の高い動作を獲得するための学習負荷が課題となっている。その結果、特許文献１の発明には、質の高い動作が獲得出来ないという課題がある。特に、前述のように、製造・建設現場での作業や、鉄道・プラント・電力・ビル等のインフラ設備の保守・メンテナンス作業を行うロボットの場合、その場に応じて様々なタイプのロボットが存在し、この課題が顕著である。
【０００９】
そこで、本発明は、複数種類のロボットを制御する学習モデルに対する学習負荷を削減することを課題とする。
【課題を解決するための手段】
【００１０】
前記した課題を解決するため、本発明のロボットの動作学習装置は、複数種類の各ロボットについて、或る時刻における動作情報を受け付けて動作特徴量にそれぞれ変換すると共に、前記時刻における外界情報を受け付けて外界特徴量にそれぞれ変換する複数の第一学習モデルと、各前記第一学習モデルが出力する動作特徴量と外界特徴量を複数種類の前記ロボットに共通する次の時刻の予測動作特徴量に変換する共有学習モデルと、複数の各前記ロボットについて、次の時刻の予測動作特徴量から予測動作情報にそれぞれ変換する複数の第二学習モデルと、各前記ロボットの動作に関する教師データを用いて、当該ロボットに関する前記第一学習モデルおよび前記第二学習モデル、前記共有学習モデルのうち何れかを学習させる管理部と、を備えることを特徴とする。
（【００１１】以降は省略されています）

関連特許