特許ウォッチ

公開番号2025054592
公報種別公開特許公報(A)
公開日2025-04-08
出願番号2023163716
出願日2023-09-26
発明の名称ロボット動作学習装置、ロボット動作学習システム、ロボット、及びロボット動作学習方法
出願人株式会社日立製作所
代理人ポレール弁理士法人
主分類B25J 13/00 20060101AFI20250331BHJP(手工具;可搬型動力工具;手工具用の柄;作業場設備;マニプレータ)
要約【課題】
短時間かつ小さいハードウェアコストで、学習モデルを再学習することができるロボット動作学習方法を提供する。
【解決手段】
ロボットが動作を実行するための学習を支援するロボット動作学習装置であって、ある動作モデルと、他方の動作モデルと、前記ある動作モデルの動作実行結果と前記他方の動作モデルの動作実行結果とを用いて、前記ある動作モデルと前記他方の動作モデルとの誤差を算出する誤差算出部と、前記誤差算出部が算出した前記誤差を用いて、前記ロボットの周辺環境から収集する学習用データの収集範囲を決定する収集範囲決定部と、前記収集範囲決定部が決定した前記収集範囲を用いて、学習用データを収集するデータ収集部と、前記データ収集部が収集した学習用データを用いて、前記ある動作モデル及び前記他方の動作モデルの内、少なくともどちらか一方を学習させる学習部と、を備えることを特徴とする。
【選択図】図1
特許請求の範囲【請求項１】
ロボットが動作を実行するための学習を支援するロボット動作学習装置であって、
ある動作モデルと、
他方の動作モデルと、
前記ある動作モデルの動作実行結果と前記他方の動作モデルの動作実行結果とを用いて、前記ある動作モデルと前記他方の動作モデルとの誤差を算出する誤差算出部と、
前記誤差算出部が算出した前記誤差を用いて、前記ロボットの周辺環境から収集する学習用データの収集範囲を決定する収集範囲決定部と、
前記収集範囲決定部が決定した前記収集範囲を用いて、学習用データを収集するデータ収集部と、
前記データ収集部が収集した学習用データを用いて、前記ある動作モデル及び前記他方の動作モデルの内、少なくともどちらか一方を学習させる学習部と、
を備えることを特徴とするロボット動作学習装置。
続きを表示（約 1,300 文字）【請求項２】
請求項１に記載のロボット動作学習装置であって、
前記ある動作モデルは、第一動作モデルであり、
前記他方の動作モデルは、前記第一動作モデルと比較してロボットの動作の成功確率が高い第二動作モデルであり、
前記誤差算出部は、第一動作モデルの動作実行結果と第二動作モデルの動作実行結果とを用いて、前記第一動作モデルと前記第二動作モデルの誤差を算出し、
前記学習部は、前記データ収集部が収集した学習用データに基づいて、前記第一動作モデルを学習させることを特徴とするロボット動作学習装置。
【請求項３】
請求項２に記載のロボット動作学習装置であって、
前記誤差算出部は、前記第一動作モデルにより実行した際の動作位置と、前記第二動作モデルにより実行した際の動作位置との差を誤差として算出することを特徴とするロボット動作学習装置。
【請求項４】
請求項３に記載のロボット動作学習装置であって、
前記収集範囲決定部は、前記周辺環境の内、前記ロボットが動作を実行するにあたり前記誤差が生じた付近の領域を収集範囲として決定することを特徴とするロボット動作学習装置。
【請求項５】
請求項４に記載のロボット動作学習装置であって、
前記データ収集部は、前記収集範囲決定部が決定した収集範囲の内、前記ロボットの動作に関連するデータを収集する学習データ収集機能を有することを特徴とするロボット動作学習装置。
【請求項６】
請求項４に記載のロボット動作学習装置であって、
前記収集範囲は、円形のエリアであり、
前記第二動作モデルで得られた動作位置は、前記エリアの中心であり、
前記誤差は、前記エリアの半径であることを特徴とするロボット動作学習装置。
【請求項７】
請求項６に記載のロボット動作学習装置であって、
前記第一動作モデルの学習のために収集するデータは、前記エリアの中心から前記誤差の距離で離れた位置から前記エリアの中心までに移動する時に得られる環境情報および動作情報であることを特徴とするロボット動作学習装置。
【請求項８】
請求項７に記載のロボット動作学習装置であって、
前記学習部は、前記収集した学習データを用いて模倣学習により前記第一動作モデルを再学習することを特徴とするロボット動作学習装置。
【請求項９】
請求項４に記載のロボット動作学習装置であって、
前記収集範囲は、四角形のエリアであり、
前記第二動作モデルで得られた動作位置は、前記エリアの中心であり、
前記誤差は、前記エリアの限界を定めることを特徴とするロボット動作学習装置。
【請求項１０】
請求項９に記載のロボット動作学習装置であって、
前記収集範囲から得られるデータは、前記収集範囲内の複数離散化された点であり、
前記学習部は、前記離散化された点の内の複数点を用いて強化学習環境を構築し、前記強化学習環境により前記第一動作モデルを再学習することを特徴とするロボット動作学習装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、ロボットの周辺環境から収集した学習用データに基づいて学習モデルを再学習するロボット動作学習装置、ロボット動作学習システム、ロボット、及びロボット動作学習方法に適用して有効な技術に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
様々な異なる環境で高い成功率でマニピュレーションタスクを実現するには、学習ベースのロボット制御モデルが良く使用される。学習ベースのモデルの通常の学習方法としては、ラボ環境で学習した後、現場から抽出されたデータを使用して再学習することが挙げられる。これにより、高い精度を維持しつつ、現場に適応した学習ベースモデルを得ることができる。但し、現場から取得する必要がある学習データの範囲が明確ではないため、データ取得範囲が広くなり、学習時間の延長やハードウェアの劣化といった問題が生じる。
【０００３】
この問題を解決するために、例えば特許文献１では、事前に強化学習を行ったモデルを実行し、実行中に既存の環境情報や報酬情報との差分の大きさに基づき、学習モデルの更新を行うことで、外部からの指示入力によらず学習を自動的に切り替えることができる情報処理システムを提案している。これにより、学習が必要な場合にのみモデルが学習され、さらに強化学習を使用することで、データ収集が不要になり、無駄な学習データ収集時間を削減し、ハードウェアの劣化を低減できる。
【先行技術文献】
【特許文献】
【０００４】
国際公開第２０２２／２０１７９６号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１の情報処理システムは、既存の環境情報や報酬情報との差分が大きいと判定された時、再学習する際に、環境のどの範囲を利用して学習するべきかを考慮していない。そのため、環境の広い範囲で学習することがあり、既存の環境情報や報酬情報との差分が小さくなるまで時間が掛かる恐れがある。
【０００６】
そこで、本発明の目的は、短時間かつ小さいハードウェアコストで、学習モデルを再学習することができるロボット動作学習装置、ロボット動作学習システム、ロボット、及びロボット動作学習方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、ロボットが動作を実行するための学習を支援するロボット動作学習装置であって、ある動作モデルと、他方の動作モデルと、前記ある動作モデルの動作実行結果と前記他方の動作モデルの動作実行結果とを用いて、前記ある動作モデルと前記他方の動作モデルとの誤差を算出する誤差算出部と、前記誤差算出部が算出した前記誤差を用いて、前記ロボットの周辺環境から収集する学習用データの収集範囲を決定する収集範囲決定部と、前記収集範囲決定部が決定した前記収集範囲を用いて、学習用データを収集するデータ収集部と、前記データ収集部が収集した学習用データを用いて、前記ある動作モデル及び前記他方の動作モデルの内、少なくともどちらか一方を学習させる学習部と、を備えることを特徴とする。
【０００８】
また、本発明は、ロボットが動作を実行するための学習を支援するロボット動作学習方法であって、ある動作モデルの動作実行結果と他方の動作モデルの動作実行結果とを用いて、前記ある動作モデルと前記他方の動作モデルとの誤差を算出する誤差算出工程と、前記誤差を用いて、前記ロボットの周辺環境から収集する学習用データの収集範囲を決定する収集範囲決定工程と、前記収集範囲を用いて、学習用データを収集するデータ収集工程と、前記データ収集工程で収集した学習用データを用いて、前記ある動作モデル及び前記他方の動作モデルの内、少なくともどちらか一方を学習させる学習工程と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、短時間かつ小さいハードウェアコストで、学習モデルを再学習することができるロボット動作学習装置、ロボット動作学習システム、ロボット、及びロボット動作学習方法を実現することができる。
【００１０】
これにより、学習時間とハードウェアコストを低減しつつ、高い成功率でマニピュレーションタスクを実行することができる。
（【００１１】以降は省略されています）

関連特許