特許ウォッチ

公開番号2025093156
公報種別公開特許公報(A)
公開日2025-06-23
出願番号2023208726
出願日2023-12-11
発明の名称動作指令生成装置
出願人株式会社日立製作所
代理人弁理士法人信友国際特許事務所
主分類B25J 13/08 20060101AFI20250616BHJP(手工具;可搬型動力工具;手工具用の柄;作業場設備;マニプレータ)
要約【課題】作業環境の撮像視点がずれても、学習時間を増加させず、ロボットが所望の作業を実施するように動作指令を生成する。
【解決手段】動作指令生成装置30は、複数視点からの作業環境の撮像画像及びロボット10への指令データが反映されたセンサーデータを含む学習データ321から、ランダムに単一視点の撮像画像及び該撮像画像の撮像時刻と同時刻のセンサーデータを抽出して機械学習を行い、ロボットを自律運行させるための指令生成モデル322を生成する学習部312と、現在時刻の撮像画像及びセンサーデータを指令生成モデル322に入力し、ロボットへの次時刻の動作指令を生成する指令生成部313と、を備える。
【選択図】図2
特許請求の範囲【請求項１】
複数視点からの作業環境の撮像画像及びロボットへの指令データが反映されたセンサーデータを含む学習データから、ランダムに単一視点の前記撮像画像及び該撮像画像の撮像時刻と同時刻の前記センサーデータを抽出して機械学習を行い、前記ロボットを自律運行させるための指令生成モデルを生成する学習部と、
現在時刻の前記撮像画像及び前記センサーデータを前記指令生成モデルに入力し、前記ロボットへの次時刻の動作指令を生成する指令生成部と、を備える
動作指令生成装置。
続きを表示（約 1,100 文字）【請求項２】
前記指令生成モデルは、入力された現在時刻の前記撮像画像及び前記センサーデータを用いて、入力された現在時刻の前記撮像画像の撮像視点と同じ視点の次時刻の前記撮像画像及び前記センサーデータを予測して出力する
請求項１に記載の動作指令生成装置。
【請求項３】
前記学習データは、複数視点からの前記撮像画像のそれぞれの撮像時の撮像装置の位置姿勢情報を含み、
前記学習部は、前記学習データから、ランダムに単一視点の前記撮像画像、該撮像画像の撮像時刻と同時刻の前記位置姿勢情報、及び前記センサーデータを抽出して機械学習を行い、前記指令生成モデルを生成する
請求項２に記載の動作指令生成装置。
【請求項４】
前記撮像画像は、前記ロボットが所定作業を実施する際に時系列に撮像された画像であり、前記ロボットのエンドエフェクタと前記ロボットの作業対象物とが映るように撮像された画像である
請求項３に記載の動作指令生成装置。
【請求項５】
前記学習データに含まれる複数視点からの前記撮像画像は、前記作業環境において、異なる位置姿勢で配置される複数の撮像装置により撮像された前記撮像画像である
請求項４に記載の動作指令生成装置。
【請求項６】
前記学習データに含まれる複数視点からの前記撮像画像は、シミュレータ上に構築された前記作業環境に類似した環境において、異なる位置姿勢で配置される複数の撮像装置による撮像を模擬して生成された前記撮像画像である
請求項４に記載の動作指令生成装置。
【請求項７】
前記学習データに含まれる複数視点からの前記撮像画像は、前記作業環境の単一視点の前記撮像画像を用いて、新規視点の画像生成方法によって生成された前記撮像画像である
請求項４に記載の動作指令生成装置。
【請求項８】
前記学習データに含まれる複数視点からの前記撮像画像は、前記作業環境の単一視点の前記撮像画像に対して、回転、平行移動及び拡大縮小の少なくとも１つを含む画像処理を施した画像を含む
請求項４に記載の動作指令生成装置。
【請求項９】
前記指令生成モデルの学習時の前記学習データ、学習の進歩状況を表示する入出力部を備える
請求項１に記載の動作指令生成装置。
【請求項１０】
前記入出力部は、前記学習データの取得時の複数視点からの前記撮像画像及び前記センサーデータを表示し、前記動作指令の生成時に入力された前記撮像画像及び前記センサーデータ、並びに、予測された前記撮像画像及び前記センサーデータを表示する
請求項９に記載の動作指令生成装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、動作指令生成装置に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
生産効率向上や人件費削減のため、工業製品の組立、溶接、搬送等の人が行っていた作業をロボットに代替させる取り組みが増えている。しかし、これまでのロボットシステムは、膨大なプログラミングや高い専門知識が必要であった。それは、ロボット導入の阻害要因になる。そこで、ロボット装置に取り付けられた各種センサー情報に基づいて、ロボット自身で動作を決定する自律学習型ロボット制御システムが提案されている。これまでのロボット制御システムに比べ、自律学習型ロボット制御システムは、膨大なプログラミングや高い専門知識などが不要であり、ロボットを容易に導入できることが期待される。さらに、自律学習型ロボット制御システムは、ロボット自らの動作経験を記憶して学習することで多様な環境変化に対して柔軟な動作生成が可能になると期待されている。
【０００３】
ロボットの動作経験とは、例えば、ロボットを操作するユーザーがロボットに動作を直接教えて記憶させる方法や、人や他のロボットなどの動作を見て真似る方法などが挙げられる。また、一般的に、自律学習型ロボット制御システムには、学習装置が備えられており、動作経験時のセンサー情報の記憶と、動作を生成するためのパラメータの調整とが行われる。この記憶された動作経験時のセンサー情報は学習データとなり、動作を生成するためのパラメータの調整は学習となる。学習装置は、学習データを用いて、学習装置への入力値（学習データ）に対して、期待される出力値が出力されるように学習を繰り返し実行する。
【０００４】
学習装置は、例えば、ある動作経験時のロボットの関節角情報と、作業環境の時系列に撮像された撮像画像とを、学習データとして記憶する。学習装置は、記憶した学習データを用いて、時刻（ｔ）の関節角情報及び撮像画像を入力し、時刻（ｔ＋１）の関節角情報及び撮像画像を予測するように時機械学習を行う。そして、自律学習型ロボット制御システムは、学習が完了した学習装置にロボットの関節角情報及び撮像画像を逐次に入力することで、自身の状態に応じて自動的に動作指令を生成することが可能になる。
【０００５】
上述したようなある時刻のセンサー情報から物体認識などを介せず、直接ロボットへの動作指令を生成する手法は、自律学習型のエンドツーエンドの動作生成手法と呼ばれる。自律学習型のエンドツーエンドの動作生成技術として、例えば、特許文献１に記載のロボットシステムが開示されている。
【０００６】
特許文献１には、機械学習装置が、人とロボットと協働して作業を行う期間中に、人の顔を認識し、人に対応するニューラルネットワークの重みに基づいて、人の行動を分類して人の行動を学習すること、及び、人の行動を分類した結果に基づいてロボットの行動を制御することが記載されている。
【先行技術文献】
【特許文献】
【０００７】
特開２０１８－６２０１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述のように、従来、作業環境の撮像画像等の学習データを用いて、機械学習により自動的にロボットの動作を制御する技術（特許文献１）が開示されている。特許文献１に記載の自律学習型のエンドツーエンドの動作生成手法では、基本的にカメラの視点が固定されており、視点のずれは想定されていない。しかし、実用上では、カメラの視点ずれが発生するシーンは多いである。ロボット自体が動くようなモバイルマニピュレータでは、ロボットの移動に伴い、環境に対して、カメラは相対的に移動する。また、据え付け型のロボットにおいても、ロボットの移設によってカメラも移設するため、カメラの視点が学習時の視点とずれることが予想される。カメラの視点がずれる場合、撮像画像中の作業対象物やロボットの位置もずれる。このような視点ずれは全く学習されていないため、自律学習型ロボット制御システムの性能が大きく劣化する。このような場合には、カメラの視点をずらして取得した学習データによって追加学習を行う必要がある。また、追加学習に伴い、学習時間の増加問題が発生する。
【０００９】
本発明は、上記問題を解決するために成されたものであり、本発明の目的は、作業環境の撮像視点がずれても、学習時間を増加させず、ロボットが所望の作業を実施するように動作指令を生成することである。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明の動作指令生成装置は、複数視点からの作業環境の撮像画像及びロボットへの指令データが反映されたセンサーデータを含む学習データから、ランダムに単一視点の撮像画像及び該撮像画像の撮像時刻と同時刻のセンサーデータを抽出して機械学習を行い、ロボットを自律運行させるための指令生成モデルを生成する学習部と、現在時刻の撮像画像及びセンサーデータを指令生成モデルに入力し、ロボットへの次時刻の動作指令を生成する指令生成部と、を備える。
【発明の効果】
（【００１１】以降は省略されています）

関連特許