特許ウォッチ

公開番号2025019042
公報種別公開特許公報(A)
公開日2025-02-06
出願番号2024120841
出願日2024-07-26
発明の名称物品をピックアップするための物体認識システム
出願人株式会社日立製作所
代理人弁理士法人サンネクスト国際特許事務所
主分類G06T 7/70 20170101AFI20250130BHJP(計算;計数)
要約【課題】複数の物体と関連付けられた物体配置認識を実施するための方法およびシステムを提供する。
【解決手段】物体配置認識システム100は、センサと複数の物体との間の距離を測定するビジョンセンサと、ビジョンセンサが結合され、ビジョンセンサを線形的に移動させるリニアスライダと、プロセッサ及びプロセッサに結合されたメモリを含むコンピュータと、を有する。メモリは、プロセッサによって実行可能な命令を格納し、命令によって、センサを使用して複数の物体の表面を測定し、測定した表面に基づいて、複数の物体の寸法、位置及び向きを認識して、認識した物体を識別し、認識した物体夫々の信頼度を計算し、計算した信頼度に基づいて、認識した物体から区別不能な物体を識別し、区別不能な物体夫々に対して接近可能距離を計算し、計算した接近可能距離からの最小接近可能距離に対応する距離の分、ビジョンセンサを複数の物体に向かって移動させる。
【選択図】図8
特許請求の範囲【請求項１】
複数の物体と関連付けられた物体配置認識のためのシステムであって、
センサと前記複数の物体との間の距離を測定するセンサと、
リニアスライダであって、前記センサが結合され、前記センサを線形的に移動させる、リニアスライダと、
プロセッサと、
前記プロセッサに結合されたメモリとを備え、前記メモリが、前記プロセッサによって実行可能な命令を格納し、前記命令によって、
前記センサを使用して前記複数の物体の表面を測定し、
測定した前記表面に基づいて、前記複数の物体の寸法、位置、および向きを認識して、認識した物体を識別し、
前記認識した物体それぞれの信頼度を計算し、
計算された前記信頼度に基づいて、前記認識した物体から区別不能な物体を識別し、ここで前記区別不能な物体の計算した前記信頼度は、プリセットされた信頼度閾値よりも低く、
前記区別不能な物体それぞれに対して接近可能距離を計算し、
計算した前記接近可能距離からの最小接近可能距離に対応する距離の分、前記センサを前記複数の物体に向かって移動させる、
システム。
続きを表示（約 2,700 文字）【請求項２】
前記複数の物体を把持し、移動させるマニピュレータをさらに備え、
前記メモリが、前記プロセッサによって実行可能な命令をさらに格納し、前記命令によって、
前記センサから前記認識した物体それぞれまでの距離を計算し、
前記認識した物体から、選択した前記物体と前記センサに最も近い物体との間の距離がプリセットした距離閾値よりもそれぞれ短い物体を選択し
前記マニピュレータによって、選択した前記物体のサブセットであって選択した前記区別可能な物体の計算した信頼度が前記プリセットした信頼度閾値に等しいかまたはそれよりも高い、前記選択した区別可能な物体のうちの１つを把持し、
前記マニピュレータによって、把持した前記物体を行先エリアまで移動させ、
前記マニピュレータによって、前記選択した物体のサブセットであって前記区別不能な物体に属する、前記選択した区別不能な物体のうちの１つを変位させる、
請求項１に記載のシステム。
【請求項３】
前記メモリが、前記プロセッサによって実行可能な命令をさらに格納し、前記命令によって、
前記選択した区別不能な物体の接近可能距離すべての最小値が、前記選択した物体の一部ではないが前記区別不能な物体に属する未選択の区別不能な物体の接近可能距離すべての最小値よりも長い場合、前記選択した区別不能な物体の接近可能距離すべての前記最小値に対応する距離の分、前記センサを前記複数の物体に向かって移動させる、
請求項２に記載のシステム。
【請求項４】
前記メモリが、前記プロセッサによって実行可能な命令をさらに格納し、前記命令によって、
未選択の物体に属し、前記選択した物体の接近可能距離すべての最小値よりも短い接近可能距離を有する、物体を選定し、
選定した前記物体の寸法、位置、および向きを格納する、
請求項３に記載のシステム。
【請求項５】
前記メモリが、前記プロセッサによって実行可能な命令をさらに格納し、前記命令によって、
前記センサから、前記選定した物体の一部であって前記区別可能な物体に属する、格納した区別可能な物体それぞれまでの距離を計算し、
前記センサからの格納した区別可能な物体それぞれの前記距離を使用して、前記格納した区別可能な物体のうち少なくとも１つが操作可能になるか否かを確認し、
操作可能である前記格納した区別可能な物体のうち前記少なくとも１つを把持し移動させる、
請求項４に記載のシステム。
【請求項６】
前記メモリが、前記プロセッサによって実行可能な命令をさらに格納し、前記命令によって、
前記センサから、前記選定した物体の一部であって前記区別可能な物体に属する、格納した区別不能な物体それぞれまでの距離を計算し、
最も近い選択した物体から前記センサまでの距離と、最も近い格納した区別不能な物体から前記センサまでの距離との距離の差が、プリセットした第２の距離閾値よりも短い場合、または前記最も近い選択した物体から前記センサまでの前記距離が、前記最も近い格納した区別不能な物体から前記センサまでの前記距離よりも長い場合、前記格納した区別不能な物体のうち少なくとも１つを前記センサが測定できる位置まで、前記センサを前記複数の物体から遠ざけるように移動させる、
請求項４に記載のシステム。
【請求項７】
前記メモリが、前記プロセッサによって実行可能な命令をさらに格納し、前記命令によって、
前記選定した物体すべてまたは前記格納した区別不能な物体すべてを前記センサが測定できる位置まで、前記複数の物体から遠ざけるように前記センサを移動させ、
前記複数の物体から遠ざけるように前記センサを移動させた後、前記格納した区別不能な物体の情報をクリアする、
請求項６に記載のシステム。
【請求項８】
前記メモリが、命令をさらに格納し、前記命令によって、
２つ以上の前記選択した区別可能な物体の数に対して、前記選択した区別可能な物体すべてが移動されるまで、前記選択した区別可能な物体を把持し、前記行先エリアまで移動させ続け、
前記センサの移動と、前記選択した区別可能な物体のうち最後のものの把持とを同時に実行する、
請求項２に記載のシステム。
【請求項９】
最後に把持した前記選択した区別可能な物体の深さ寸法を測定する、深さ寸法センサをさらに備え、
前記メモリが命令をさらに格納し、前記命令によって、
前記最後に把持した選択した区別可能な物体を移動させて、前記深さ寸法センサが、前記最後に把持した選択した区別可能な物体の深さ寸法を測定するのを可能にし、
前記最後に把持した選択した区別可能な物体の前記深さ寸法を測定し、
測定した前記深さ寸法を使用して、前記最後に把持した選択した区別可能な物体を移動させる前に、前記最後に把持した選択した区別可能な物体の奥に位置する物体の上面のサイズ、位置、および向きを推定し、
前記センサを移動させ、前記選択した区別可能な物体のうち最後のものを前記把持することによって、前記選択した区別可能な物体のうち前記最後のものを前記センサの視野から遠ざけるように移動させた後に、推定した前記物体の上面を前記センサが測定できるか否かを判定し、
前記センサを、前記複数の物体から遠ざけるように、前記推定した物体の前記上面を前記センサが測定できる位置まで移動させる、
請求項８に記載のシステム。
【請求項１０】
前記メモリが、命令をさらに格納し、前記命令によって、
２つ以上の前記選択した区別可能な物体の数に対して、前記選択した区別可能な物体すべてが移動されるまで、前記選択した区別可能な物体を把持し、前記行先エリアまで移動させ続け、
プリセットした深さ寸法を使用して、前記選択した区別可能な物体のうち最後のものの奥に位置する物体の接近可能距離を推定し、
推定した前記接近可能距離および前記計算した接近可能距離の前記最小接近可能距離のうち小さい方を、選定距離として選定し、
前記選定距離での前記センサの移動と、前記選択した区別可能な物体のうち前記最後のものの把持とを同時に実行する、
請求項２に記載のシステム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、全体として、複数の物体と関連付けられた物体配置認識を実施するための方法およびシステムを対象とする。
続きを表示（約 2,700 文字）【背景技術】
【０００２】
倉庫の自動化システムを使用することによる物理的作業の自動化は、労働力の高齢化および労働市場の変動性の増加により、主流となり始めている。倉庫作業を実施する際、自動化システムは、デパレタイズ、デバニング、および物体ピッキング作業を含む作業に焦点を当てており、倉庫作業者は、パレットまたはロールボックスパレット上、トラックの荷箱内、またはコンテナ内に配置された複数の製品から製品をピックアップする。
【０００３】
これらの作業を自動化するため、１つまたは複数のマニピュレータおよび１つまたは複数のビジョンシステムを有する自律制御ロボットが提案され、実用化されてきた。一般に、製品およびその配置／梱包は互いにばらつきが大きい場合があり、自動システムは、かかる事前情報を前もって受け取ることがない。自動システム／自律制御ロボットは、製品のサイズ、位置、および向きを認識し、認識した情報に基づいて、認識した製品をピックアップし移動させるマニピュレータの動作を計画する。
【０００４】
関連技術では、パレット上の１番上の物体の画像および／または３Ｄモデルを生成するのにビジョンデータを受信するため、固定的に取り付けられたビジョンセンサを利用する、デパレタイザシステムが開示されている。図１は、機器上に固定された単一のビジョンセンサを利用する従来のデパレタイザシステムを示している。かかるシステムは、システムが適切に機能するために、標的物体の寸法などの事前情報を必要とし、かかる情報を生成するには、追加の時間およびリソースを要する。
【０００５】
関連技術では、信頼度がない境界内にある物体の検出した上面のエリアを把持するのにマニピュレータを利用し、物体をわずかに変位させて境界の信頼度レベルを増加させる方法。変位の結果を測定することによって、わずかな変位の結果を測定することにより、正確なサイズ推定で物体を検出することができる。図２は、マニピュレータを利用する従来のデパレタイザシステムを示している。物体のわずかな変位によってより良好な物体寸法推定が可能になるが、プロセスは、実施するのに追加の時間がかかり、システムのスループットが減少する傾向がある。
【０００６】
関連技術では、ビジョンセンサの視点から物体の上面を測定するため、複数のビジョンセンサがデパレタイザシステムに固定的に取り付けられる。図３は、複数の固定的に取り付けられたビジョンセンサを利用する従来のデパレタイザシステムを示している。しかしながら、複数のビジョンセンサを使用することで、デパレタイザシステムの価格が増加し、経済的に実行不能になる。
【０００７】
関連技術では、マニピュレータ上に取り付けられた１つまたは複数のビジョンセンサを有するデパレタイザシステムが開示されている。図４は、マニピュレータ上に取り付けられたビジョンセンサを有する従来のデパレタイザシステムを示している。図５は、物体運動マニピュレータとは異なるマニピュレータ上に取り付けられたビジョンセンサを有する従来のデパレタイザシステムを示している。図５に示されるように、２つのマニピュレータがあり、１つはビジョンセンサを有し、１つは物体操作のためのハンドを有する。ビジョンセンサおよび物体を把持するハンドが、図４に示されるように同じマニピュレータ上に取り付けられた場合、マニピュレータは、物体の測定を実施するのに一時的に休止しなければならない。物体の配置全体を認識するための高い位置からの測定、および標的物体の境界を正確に認識するための低い位置からの測定が求められ、そのため、システムのスループットが低くなる。スループットの問題は、図５に示されるように２つのマニピュレータを使用して対処できるが、かかるシステムは高価になりすぎ、経済的に実行不能になる。
【０００８】
関連技術では、ビジョンセンサの垂直移動を可能にするのに、デパレタイザシステムに垂直スライダが利用される。図６は、垂直スライダを備えた従来のデパレタイザシステムを示している。システムは、物体の上面を比較的短距離で上方から測定することができる。しかしながら、垂直スライダを利用するビジョンシステムの使用と関連付けられたいくつかの問題がある。図７は、垂直スライダを利用するデパレタイザシステムの制限を示している。図７に示されるように、すべての物体を視野内に含めるために、ビジョンセンサの接近距離を限定することができる。そのため、垂直スライダが適用されていても、物体のわずかな変位が頻繁に求められる。
【発明の概要】
【０００９】
本開示の態様は、複数の物体と関連付けられた物体配置認識を実施するための革新的な方法を含む。方法は、センサと複数の物体との間の距離を、センサを使用して測定することと、センサに結合されたリニアスライダを移動させることと、センサを使用して複数の物体の表面を測定することと、測定した表面に基づいて、複数の物体の寸法、位置、および向きを認識して、認識した物体を識別することと、認識した物体それぞれの信頼度を計算することと、計算した信頼度に基づいて、認識した物体から、プリセットした信頼度閾値よりも信頼度が低い区別不能な物体を識別することと、区別不能な物体それぞれに対して接近可能距離を計算することと、計算した接近可能距離からの最小接近可能距離に対応する距離の分、センサを複数の物体に向かって移動させることと、を含んでもよい。
【００１０】
本開示の態様は、複数の物体と関連付けられた物体配置認識のための革新的なシステムを含む。システムは、センサと複数の物体との間の距離を測定するセンサと、リニアスライダであって、センサが結合され、センサを線形的に移動させる、リニアスライダと、プロセッサと、プロセッサに結合されたメモリとを含んでもよく、メモリは、プロセッサによって実行可能な命令を格納し、命令によって、センサを使用して複数の物体の表面を測定し、測定した表面に基づいて、複数の物体の寸法、位置、および向きを認識して、認識した物体を識別し、認識した物体それぞれの信頼度を計算し、計算した信頼度に基づいて、認識した物体から、プリセットした信頼度閾値よりも信頼度が低い区別不能な物体を識別し、区別不能な物体それぞれに対して接近可能距離を計算し、計算した接近可能距離からの最小接近可能距離に対応する距離の分、センサを複数の物体に向かって移動させる。
（【００１１】以降は省略されています）

関連特許