特許ウォッチ

公開番号2025112678
公報種別公開特許公報(A)
公開日2025-08-01
出願番号2024007062
出願日2024-01-19
発明の名称学習済みモデル生成装置、制御装置、学習済みモデル生成方法、及び学習済みモデル生成プログラム
出願人オムロン株式会社
代理人弁理士法人太陽国際特許事務所
主分類B25J 13/08 20060101AFI20250725BHJP(手工具;可搬型動力工具;手工具用の柄;作業場設備;マニプレータ)
要約【課題】ロボットが物体に対して力を加えるタスクを実行する際に用いられる学習済みモデルを効率的に生成する。
【解決手段】制御装置14は、仮想物体に対して力を加える際の仮想物体からの反力をシミュレーションする物理シミュレーションと、仮想物体に対して力を加える仮想ロボットの動作をシミュレーションするロボットシミュレーションとを実行する。制御装置14は、物理シミュレーションとロボットシミュレーションとが実行されている最中に得られるデータに基づいて、仮想ロボットに対応する現実ロボットが動作する環境を表す状態データが入力されると現実ロボットの行動データを出力する学習済みモデルを生成する。
【選択図】図1
特許請求の範囲【請求項１】
仮想物体に対して力が加えられた際の前記仮想物体からの反力をシミュレーションする物理シミュレーションと、前記仮想物体に対して力を加える仮想ロボットの動作をシミュレーションするロボットシミュレーションとを実行するシミュレーション部と、
前記物理シミュレーションと前記ロボットシミュレーションとが実行されている最中に得られるデータに基づいて、前記仮想ロボットに対応する現実ロボットが動作する環境を表す状態データが入力されると前記現実ロボットの行動データを出力する学習済みモデルを生成する生成部と、
を含む学習済みモデル生成装置。
続きを表示（約 1,600 文字）【請求項２】
前記物理シミュレーションが実行されている最中に得られるデータは、前記仮想物体に対して前記仮想ロボットが力を加えた際の反力を表す仮想反力データであり、
前記生成部は、前記仮想反力データに基づいて、前記学習済みモデルを生成する、
請求項１に記載の学習済みモデル生成装置。
【請求項３】
前記シミュレーション部は、第１周期で前記物理シミュレーションの計算を実行し、第２周期で前記ロボットシミュレーションの計算を実行し、
前記生成部は、前記学習済みモデルを生成する際に、前記第１周期による計算によって前記物理シミュレーションから得られた前記仮想反力データから、前記ロボットシミュレーションにおける前記第２周期に対応する前記仮想反力データを取得し、前記第２周期に対応する前記仮想反力データに基づいて、前記学習済みモデルを生成する、
請求項２に記載の学習済みモデル生成装置。
【請求項４】
前記生成部は、前記学習済みモデルを生成する際に、前記仮想反力データの変動が所定範囲内である場合には、前記第２周期よりも大きい周期で前記仮想反力データを取得し、取得した前記仮想反力データに基づいて、前記学習済みモデルを生成する、
請求項３に記載の学習済みモデル生成装置。
【請求項５】
前記生成部は、前記学習済みモデルを生成する際に、前記仮想反力データの変動が所定範囲外である場合には、前記第２周期よりも小さい周期で前記仮想反力データを取得し、取得した前記仮想反力データに基づいて、前記学習済みモデルを生成する、
請求項３又は請求項４に記載の学習済みモデル生成装置。
【請求項６】
前記シミュレーション部は、
前記仮想物体に対応する現実の物体に対して、前記仮想ロボットに対応する現実のロボットが力を加えた際の、現実の反力を表す現実反力データを取得し、
前記現実反力データを前記物理シミュレーションへ反映することにより、前記物理シミュレーションを実行する、
請求項１又は請求項２に記載の学習済みモデル生成装置。
【請求項７】
前記生成部は、前記仮想ロボットが実行するタスクの種類に応じて予め設定される報酬の総和が大きくなるように、強化学習によって前記学習済みモデルを生成する、
請求項１又は請求項２に記載の学習済みモデル生成装置。
【請求項８】
前記生成部は、前記仮想ロボットの一連の動作を表すエピソードの終端における状況に応じた報酬が大きくなるように、強化学習によって前記学習済みモデルを生成する、
請求項１又は請求項２に記載の学習済みモデル生成装置。
【請求項９】
前記生成部は、
Soft Actor-Criticアルゴリズムに従って強化学習を実行する際に、
前記物理シミュレーションと前記ロボットシミュレーションとが実行されている最中に得られるデータに基づいて、強化学習における方策を表すアクターと強化学習における行動価値関数を表すクリティックとを学習させ、学習済みの方策を前記学習済みモデルとして生成する、
請求項１又は請求項２に記載の学習済みモデル生成装置。
【請求項１０】
前記状態データを取得する取得部と、
請求項１又は請求項２に記載の学習済みモデル生成装置によって生成された前記学習済みモデルに対して、前記取得部により取得された前記状態データを入力することにより、前記現実ロボットの前記行動データを取得し、前記行動データに基づいて前記現実ロボットを制御する制御部と、
を備えた制御装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、学習済みモデル生成装置、制御装置、学習済みモデル生成方法、及び学習済みモデル生成プログラムに関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
従来、状況に応じて安定してワークの情報を取得するロボットシステムが知られている（例えば、特許文献１を参照）。このロボットシステムは、仮想ワークを仮想容器に自由落下させる物理シミュレーションを行い、仮想容器にばら積みされた仮想ワークを仮想撮像装置に仮想的に撮像させて画像データを取得し、画像データを入力データとする機械学習により学習済みモデルを取得する。
【先行技術文献】
【特許文献】
【０００３】
特開2023-168240号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、物体に対して力を加えるような動作をロボットに対して学習させることは難しい。例えば、ロボットがナイフを把持し、そのナイフを用いて物体を切るようなタスクを実行するような場合を考える。この場合には、ロボットが物体をナイフで切る際には、どのような角度でナイフを物体に当て、どの程度の力をナイフに加え、どの程度の速度でナイフを動かせばよいのか、といった点をロボットが学習する必要がある。
【０００５】
ロボットが、上記の点を加味して動作を学習する際には、物体に対して力を加える際に発生する物体からの反力のデータを取得する必要がある。例えば、この場合には、反力のデータを利用して機械学習アルゴリズムを用いて学習済みモデルを学習させ、ロボットは学習済みモデルを用いて自らの動作を制御する必要がある。
【０００６】
しかし、物体に対して力を加えて反力のデータを得た後は、その物体が変化し、再度物体から反力のデータを得ることは難しい場合がある。例えば、上述したように、一度物体を切ってしまった場合には、その後に反力のデータを取得することは難しい。
【０００７】
このような場合に、ロボットを学習させるための反力のデータを現実世界から得ようとすると、膨大な数の物体を用意する必要があるなど多くの手間がかかり、困難である。その一方で、ロボットシミュレータによって仮想の反力のデータを得ようとしたとしても、正確な反力のデータを得ることは難しい。このため、上述したような場合には、物体に対して力を加える際の反力のデータを効率的に得ることができず、ロボットが物体に対して力を加える際に用いられる学習済みモデルを効率的に生成することができない、という課題がある。
【０００８】
上記特許文献１では、ロボットに対して物体を把持する際の動作を学習させる際に、仮想ワークを仮想容器に自由落下させる物理シミュレーションを行い、仮想ワークのばら積み具合を仮想的に再現する。このため、特許文献１は、仮想ワークのばら積み具合を仮想的に再現する技術であり、ロボットが物体に対して力を加えた際の反力のデータを用いて、ロボットを学習させるものではない。
【０００９】
本開示は、上記の点に鑑みてなされたものであり、ロボットが物体に対して力を加えるタスクを実行する際に用いられる学習済みモデルを効率的に生成することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本開示に係る学習済みモデル生成装置は、仮想物体に対して力が加えられた際の反力をシミュレーションする物理シミュレーションと、前記仮想物体に対して力を加える仮想ロボットの動作をシミュレーションするロボットシミュレーションとを実行するシミュレーション部と、前記物理シミュレーションと前記ロボットシミュレーションとが実行されている最中に得られるデータに基づいて、前記仮想ロボットに対応する現実ロボットが動作する環境を表す状態データが入力されると前記現実ロボットの行動データを出力する学習済みモデルを生成する生成部と、を含む学習済みモデル生成装置である。
（【００１１】以降は省略されています）

関連特許