特許ウォッチ

公開番号2025072743
公報種別公開特許公報(A)
公開日2025-05-12
出願番号2023183026
出願日2023-10-25
発明の名称荷姿影響緩和方法
出願人トヨタ自動車株式会社
代理人個人,個人
主分類B25J 13/08 20060101AFI20250501BHJP(手工具;可搬型動力工具;手工具用の柄;作業場設備;マニプレータ)
要約【課題】緩衝材等の内材や荷姿の影響で、物体の一部が見えなくても物体を把持しやすくすること。
【解決手段】本発明は、撮像された1つ以上の物体を含む画像データから物体を認識するステップと、内材で一部が隠れた物体がある場合、自己教師あり学習モデルへ一部が隠れた物体の物体画像を入力し、内材の影響で見えない領域が小さくなった物体画像を生成するステップと、認識された物体に対して把持点を算出するステップと、前記ロボットが、前記把持点で物体の把持を実行するステップと、物体間の隙間情報、力覚センサ値、及び、関節情報で深層強化学習モデルが、把持成功率が高くなるように把持点を学習し、次回、1つ以上の物体を含む画像データが撮像された場合、深層強化学習モデルが、把持成功率が高くなるように把持点を再度、学習する。
【選択図】図2
特許請求の範囲【請求項１】
２指ハンドを搭載したロボットが撮像装置で撮像した物体を把持する際の荷姿影響緩和方法であって、
撮像された１つ以上の物体を含む画像データと点群データから物体を認識するステップと、
内材又は荷姿の影響で一部が隠れた物体がある場合、自己教師あり学習モデルへ一部が隠れた物体の物体画像を入力するステップと、
自己教師あり学習モデルが、前記物体画像よりも、内材又は荷姿の影響で見えない領域が小さくなった物体画像を生成するステップと、
内材又は荷姿の影響で見えない領域が少なくなるように生成された物体画像を含む画像データから、再度、物体を認識するステップと、
再度、認識された物体に対して把持点を算出するステップと、
前記ロボットが、前記把持点で物体の把持を実行するステップと、
内材又は荷姿の影響で見えない領域が少なくなるように生成された物体画像を含む画像データにおける物体間の隙間情報、前記ロボットが物体の把持の際に検出した力覚センサ値、及び、関節情報を深層強化学習モデルへ入力するステップと、
前記深層強化学習モデルが、把持成功率が高くなるように把持点を学習するステップと、を有し、
次回、１つ以上の物体を含む画像データが撮像された場合、前記深層強化学習モデルが学習結果をもとに算出した把持点を前記ロボットに指示し、
次回の画像データにおける物体間の隙間情報、前記ロボットが該把持点で物体を把持した際に検出した力覚センサ値、及び、関節情報を前記深層強化学習モデルへ入力し、
前記深層強化学習モデルが、把持成功率が高くなるように把持点を再度、学習する荷姿影響緩和方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、荷姿影響緩和方法に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
製造工程では、２指ハンドを搭載したロボットが収納容器等から部品等の物体を把持して取り出す工程がある。ロボットは収納容器にある部品を適切に把持して取り出すことが望まれている。
【０００３】
画像処理により把持対象物の把持の可否を判断する技術が考案されている（例えば、特許文献１参照）。特許文献１には、ハンドと把持対象物との距離を解析して、把持成功率を判断し、把持対象物との距離により算出した特徴ベクトルから識別器を生成し、この識別器を用いて把持対象物の把持可否を判断する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
特開2017－047505号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、緩衝材等の内材や荷姿の影響で、部品の一部が見えない場合に以下のような問題があった。
・緩衝材等の内材や荷姿の影響で部品の大部分が見えない状態のとき部品の把持点を算出できない。
・誤った把持点を算出して、部品とハンドが干渉し、部品が傷つく。
・把持可能な部品が限定される。
・荷姿を変更する必要があり、コストが増加する。
【０００６】
本発明は、上記課題に鑑み、緩衝材等の内材や荷姿の影響で、物体の一部が見えなくても物体を把持しやすくする技術を提供する。
【課題を解決するための手段】
【０００７】
本発明は、上記課題に鑑み、２指ハンドを搭載したロボットが撮像装置で撮像した物体を把持する際の荷姿影響緩和方法であって、撮像された１つ以上の物体を含む画像データと点群データから物体を認識するステップと、内材で一部が隠れた物体がある場合、自己教師あり学習モデルへ一部が隠れた物体の物体画像を入力するステップと、自己教師あり学習モデルが、前記物体画像よりも、内材の影響で見えない領域が小さくなった物体画像を生成するステップと、内材の影響で見えない領域が少なくなるように生成された物体画像を含む画像データから、再度、物体を認識するステップと、再度、認識された物体に対して把持点を算出するステップと、前記ロボットが、前記把持点で物体の把持を実行するステップと、内材の影響で見えない領域が少なくなるように生成された物体画像を含む画像データにおける物体間の隙間情報、前記ロボットが物体の把持の際に検出した力覚センサ値、及び、関節情報を前記深層強化学習モデルへ入力するステップと、前記深層強化学習モデルが、把持成功率が高くなるように把持点を学習するステップと、を有し、次回、１つ以上の物体を含む画像データが撮像された場合、前記深層強化学習モデルが学習結果をもとに算出した把持点を前記ロボットに指示し、次回の画像データにおける物体間の隙間情報、前記ロボットが該把持点で物体を把持した際に検出した力覚センサ値、及び、関節情報を前記深層強化学習モデルへ入力し、前記深層強化学習モデルが、把持成功率が高くなるように把持点を再度、学習する。
【発明の効果】
【０００８】
緩衝材等の内材や荷姿の影響で、物体の一部が見えなくても物体を把持しやすくする技術を提供できる。
【図面の簡単な説明】
【０００９】
収納容器に収納された複数の部品の一例を示す図である。
部品把持装置が行う処理の流れを説明するフローチャート図の一例である。
部品把持装置の機能をブロックに分けて説明する機能ブロック図の一例である。
本実施形態の部品把持装置が行う処理を模式的に説明する図である。
本実施形態の部品把持装置が部品を認識して、２指ハンドロボットに把持させる処理を説明するフローチャート図の一例である。
画像データにおいて最も面積が大きい部品の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態の一例として、部品把持装置と部品把持装置が行う荷姿影響緩和方法について説明する。
（【００１１】以降は省略されています）

関連特許