特許ウォッチ

公開番号2025003529
公報種別公開特許公報(A)
公開日2025-01-09
出願番号2024183936,2023548006
出願日2024-10-18,2021-09-15
発明の名称画像処理装置、部品把持システム、画像処理方法および部品把持方法
出願人ヤマハ発動機株式会社
代理人個人,個人
主分類G06T 7/70 20170101AFI20241226BHJP(計算;計数)
要約【課題】容器に収納された複数の部品のうち、比較的高い位置の部品を認識するのに有用な技術を提供する。
【解決手段】複数の部品Pをそれぞれ示すグレースケール画像Ig(輝度画像)および深度画像Idを合成することで合成画像Icが生成される(ステップS201)。こうして生成された合成画像Icでは、複数の部品Pのうち、比較的高い位置の部品Pの形状が残りやすく、かかる部品Pを認識するのに有用である。
【選択図】図4B
特許請求の範囲【請求項１】
容器に収納された複数の部品を示す輝度画像と、前記複数の部品を示す深度画像とを取得する画像取得部と、
前記画像取得部が取得した前記輝度画像と前記深度画像とを合成することで合成画像を生成する画像合成部と
を備え、
前記輝度画像は、画素毎に輝度Ｖｇを示し、
前記深度画像は、画素毎に深度Ｖｄを示し、
前記合成画像は、画素毎に合成値Ｖｃを示し、
前記画像合成部は、深度Ｖｄによって輝度Ｖｇを重み付けした合成値Ｖｃを算出することで前記合成画像を生成する画像処理装置。
続きを表示（約 1,200 文字）【請求項２】
前記画像合成部は、輝度Ｖｇに深度ｖｄを乗じることで重み付けを行う請求項１に記載の画像処理装置。
【請求項３】
ロボットハンドの範囲を示すハンド範囲を前記部品に対して設定して前記ハンド範囲に含まれる前記部品を示す対象部品画像を前記合成画像に基づき作成することで、それぞれ異なる前記部品を示す複数の対象部品画像を生成して、前記対象部品画像が示す前記ロボットハンドと前記部品との位置関係で前記ロボットハンドが前記部品の把持を試行した場合の把持成功確率を前記複数の対象部品画像のそれぞれについて算出する成功確率演算部をさらに備える請求項１ないし２のいずれか一項に記載の画像処理装置。
【請求項４】
前記成功確率演算部は、前記複数の対象部品画像のそれぞれについて算出した前記把持成功確率に基づき、前記複数の対象部品画像のうちから一の対象部品画像を選択して、前記一の対象部品画像が示す前記部品を前記一の対象部品画像が示す姿勢の前記ロボットハンドにより把持すると決定する請求項３に記載の画像処理装置。
【請求項５】
前記成功確率演算部は、前記複数の対象部品画像であって所定の除外条件を満たさない対象部品画像のうち、前記把持成功確率が最も高い前記対象部品画像を前記一の対象部品画像に選択する請求項４に記載の画像処理装置。
【請求項６】
前記所定の除外条件は、前記容器の端と前記対象部品画像との距離が所定値未満であるという条件である請求項５に記載の画像処理装置。
【請求項７】
前記成功確率演算部は、前記対象部品画像が示す前記ロボットハンドと前記部品との位置関係で前記ロボットハンドが前記部品の把持を試行した場合の把持の成否を教師データとして、前記対象部品画像と前記把持成功確率との関係を学習したニューラルネットワークを有し、前記ニューラルネットワークによって前記把持成功確率を前記複数の対象部品画像のそれぞれについて算出する請求項４ないし６のいずれか一項に記載の画像処理装置。
【請求項８】
前記一の対象部品画像が示す前記部品を前記一の対象部品画像が示す姿勢の前記ロボットハンドにより把持した状態を示す把持状態情報を取得して、前記把持状態情報に基づき前記ロボットハンドによる前記部品の把持の成否を判定する成否判定部をさらに備える請求項７に記載の画像処理装置。
【請求項９】
前記成否判定部は、前記ロボットハンドが前記容器から把持した前記部品を質量計に載置した際に前記質量計が計測した質量を前記把持状態情報として取得する請求項８に記載の画像処理装置。
【請求項１０】
前記成否判定部は、前記ロボットハンドに把持される前記部品をカメラで撮像した画像を前記把持状態情報として取得する請求項８または９に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
この発明は、容器に収納された複数の部品をロボットハンドによって把持する技術に関し、特にビンピッキングに対して好適に適用できる。
続きを表示（約 1,300 文字）【背景技術】
【０００２】
特許文献１では、乱雑に積まれた部品をロボットハンドで把持するに際して、把持対象となる部品を認識するために、部品を撮像した画像が用いられる。具体的には、堆積された部品を撮像した撮像画像のうちから所定の閾値以上の輝度を有する領域が特定され、この領域について点群データが生成される。
【先行技術文献】
【特許文献】
【０００３】
特開２０１５－１４７２５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、ビンピッキングにおいて、部品を確実に把持するためには、堆積された複数の部品のうち、ロボットハンドにとって手前、すなわち高い位置の部品を把持の対象とすることが好適となる。しかしながら、特許文献１の方法は、撮像画像のうちから閾値以上の輝度を有する領域に限定して点群データが生成される。そのため、撮像画像の輝度が部品の高さを的確に反映していない場合には、生成された点群データが、高い位置の部品を認識するのに有用とは必ずしも言えなかった。
【０００５】
この発明は上記課題に鑑みなされたものであり、容器に収納された複数の部品のうち、比較的高い位置の部品を認識するのに有用な技術の提供を目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、容器に収納された複数の部品を示す輝度画像と、複数の部品を示す深度画像とを取得する画像取得部と、画像取得部が取得した輝度画像と深度画像とを合成することで合成画像を生成する画像合成部とを備える。
【０００７】
本発明に係る画像処理方法は、容器に収納された複数の部品を示す輝度画像と、複数の部品を示す深度画像とを取得する工程と、輝度画像と深度画像とを合成することで合成画像を生成する工程とを備える。
【０００８】
このように構成された画像処理装置および方法では、複数の部品をそれぞれ示す輝度画像と深度画像とを合成することで合成画像が生成される。こうして生成された合成画像では、複数の部品のうち、比較的高い位置の部品の形状が残りやすく、かかる部品を認識するのに有用である。
【０００９】
また、輝度画像は、画素毎に輝度Ｖｇを示し、深度画像は、画素毎に深度Ｖｄを示し、合成画像は、画素毎に合成値Ｖｃを示し、画像合成部は、深度Ｖｄによって輝度Ｖｇを重み付けした合成値Ｖｃを算出することで合成画像を生成するように、画像処理装置を構成してもよい。こうして生成された合成画像は、複数の部品のうち、比較的高い位置の部品の形状が残りやすく、かかる部品を認識するのに有用である。
【００１０】
また、画像合成部は、次式
Ｖｃ＝Ｖｄ×（１＋Ｖｇ／ｍａｘ（Ｖｇ））
ｍａｘ（Ｖｇ）は輝度画像に含まれる輝度Ｖｇのうちの最大値
に基づき、合成画像を生成するように、画像処理装置を構成してもよい。こうして生成された合成画像は、複数の部品のうち、比較的高い位置の部品の形状が残りやすく、かかる部品を認識するのに有用である。
（【００１１】以降は省略されています）

関連特許