特許ウォッチ

公開番号2024166204
公報種別公開特許公報(A)
公開日2024-11-28
出願番号2024135810,2020213054
出願日2024-08-15,2019-10-29
発明の名称自動パッケージ登録機構および自動検出パイプラインを備えたロボットシステム
出願人株式会社Mujin
代理人個人,個人,個人,個人,個人
主分類G06T 7/00 20170101AFI20241121BHJP(計算;計数)
要約【課題】撮影された物体の物理的特性の正確な識別に失敗することに起因して、ロボットシステムが停止したり、パッケージの取り扱いを誤ったりすることを防止する。
【解決手段】本開示は、認識されていない、または、登録されていない物体を検出、登録することに関する。最小実行可能範囲(MVR)は、スタート位置の物体を表す画像データを検査することに基づいて導出されてよい。MVRは、画像データに表された1つまたは複数の特徴にしたがって、確かなMVRまたは不確かなMVRであると決定されてよい。MVRを使用して、確か、または、不確かの決定にしたがって、対応する物体を登録してよい。
【選択図】図10
特許請求の範囲【請求項１】
ロボットシステムを動作させる方法であって、
１つまたは複数の認識されていない物体を含む対象スタックを表す二次元（２Ｄ）画像データおよび三次元（３Ｄ）画像データを受信することと、
前記２Ｄ画像データおよび／または前記３Ｄ画像データの未解明の領域を、登録された物体の１つまたは複数の物理的態様を表す物体セットとの比較に基づいて、識別することと、
各層が前記３Ｄ画像データにおいて、互いから閾値範囲内の深度測定値を有する横方向に隣り合う点のセットを含む、前記２Ｄ画像データおよび／または前記３Ｄ画像データの前記未解明の領域内の１つまたは複数の層を識別することと、
前記深度測定値が水平方向の隣り合う位置にわたって前記閾値範囲外に逸脱する前記１つまたは複数の層の境界を表す露出した辺を識別することと、
それぞれ、前記露出した辺のセット間の接合点に対応する１つまたは複数の露出した角部を、前記露出した辺に基づいて、識別することと、
前記未解明の領域に表された登録されていない物体の表面の推定を表す最小実行可能領域（ＭＶＲ）を、前記識別された露出した辺および前記露出した角部に基づいて、導出することと、
前記導出したＭＶＲに関連付けられた前記露出した角部の数を決定することと、
前記ＭＶＲと、前記露出した角部の前記数とにしたがって、認識されていない物体を検出することと、
前記ＭＶＲおよび／または前記ＭＶＲの処理結果を、前記認識されていない物体の表現として含むように前記物体セットを更新することに基づいて、前記認識されていない物体を登録することと、
を含む、前記方法。
続きを表示（約 1,800 文字）【請求項２】
前記未解明の領域を前記更新した物体セットと比較することと、
前記物体セットの更新に使用された前記ＭＶＲおよび／または前記ＭＶＲの前記処理結果に一致する前記未解明の領域内の部分を識別することと、
前記ＭＶＲおよび／または前記ＭＶＲの前記処理結果に一致する前記部分にしたがって物体を検出することと、
前記ＭＶＲおよび／または前記ＭＶＲの前記処理結果に一致する前記部分を取り除くことによって、前記未解明の領域を更新することと、
に基づいて、前記更新した物体セットにしたがって、前記未解明の領域を反復して更新および分析することをさらに含む、請求項１に記載の方法。
【請求項３】
前記物体セットは、最初の反復のための空のセットであり、
前記未解明の領域は、前記最初の反復のために、前記２Ｄ画像データ、前記３Ｄ画像データ、それらの一部、または、それらの組み合わせを含み、
前記認識されていない物体を登録することは、前記対象スタックにある前記認識されていない物体を伴うタスクを実施しながら、前記物体セットを自律的にポピュレートすることを含む、
請求項２に記載の方法。
【請求項４】
前記認識されていない物体を検出することは、前記露出した角部の前記数が所定の閾値を超える場合に、前記認識されていない物体を直接、検出することを含み、
前記認識された物体を登録することは、前記露出した角部が前記所定の閾値を超える場合に、前記ＭＶＲを前記物体セットに直接、記憶することを含む、
請求項１に記載の方法。
【請求項５】
前記所定の閾値は、２である、請求項４に記載の方法。
【請求項６】
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに接続され、前記プロセッサによって実行可能な命令を記憶した少なくとも１つのメモリデバイスと、
を含む、ロボットシステムであって、前記命令は、
スタート位置の１つまたは複数の認識されていない物体を表す１つまたは複数の画像データを受信する命令と、
それぞれ、他の表面または物体と水平方向に隣り合わない露出した辺との間の接合部を表す、前記１つまたは複数の画像データの１つまたは複数の露出した角部を識別することに基づいて、最小実行可能領域（ＭＶＲ）を導出する命令と、
前記ＭＶＲに関連付けられた前記露出した角部の数に基づいて、前記スタート位置の前記認識されていない物体のうちの１つの１つまたは複数の物理的属性を表す前記ＭＶＲおよび／または前記ＭＶＲの処理結果で、以前、登録された物体の１つまたは複数の物理的態様を表す物体セットを更新する命令と、
前記スタート位置の他の物体を前記更新した物体セットに基づいて認識する命令と、
である、前記ロボットシステム。
【請求項７】
前記少なくとも１つのメモリデバイスは、前記露出した角部の前記数を所定の閾値と比較することに基づいて、前記ＭＶＲを確かなＭＶＲとして決定する命令を含む、請求項６に記載のロボットシステム。
【請求項８】
前記少なくとも１つのメモリデバイスは、前記ＭＶＲが前記露出した角部の３つ以上に関連付けられる場合に、前記ＭＶＲを前記確かなＭＶＲとして決定する命令を含む、請求項７に記載のロボットシステム。
【請求項９】
前記少なくとも１つのメモリデバイスは、前記ＭＶＲを前記確かなＭＶＲとして前記決定したことに基づいて、前記ＭＶＲをさらに更新または調整することなく、前記物体セットを前記ＭＶＲおよび／または前記ＭＶＲの処理結果で直接、更新する命令を含む、請求項８に記載のロボットシステム。
【請求項１０】
前記少なくとも１つのメモリデバイスは、
前記物体セットに表された物体との一致を返信しない前記画像データの未解明の領域を識別する命令と、
前記確かなＭＶＲが未解明の領域内にあり、前記ＭＶＲを、該未解明の領域に基づいて導出する命令と、
さらなる物体認識および／または操作のために、前記確かなＭＶＲと一致する前記未解明の領域の部分を取り除く命令と、
を含む、請求項９に記載のロボットシステム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０１８年１０月３０日出願の米国仮特許出願番号第６２／７５２，７５６号の利益を主張し、参照によりその全体が本明細書に組み込まれる。本出願は、２０１９年５月２４日出願の米国仮特許出願番号第６２／８５２，９６３号の利益をさらに主張し、参照によりその全体が本明細書に組み込まれる。本出願は、２０１９年３月１日出願の米国特許出願番号第１６／２９０，７４１号であり、現在、米国特許番号第１０，３６９，７０１号にも関連し、参照によりその全体が本明細書に組み込まれる。
続きを表示（約 2,400 文字）【０００２】
本出願は、ＪｉｎｚｅＹｕ，ＪｏｓｅＪｅｒｏｎｉｍｏＭｏｒｅｉｒａＲｏｄｒｉｇｕｅｓ、および、ＲｏｓｅＮｉｋｏｌａｅｖＤｉａｎｋｏｖによる同時出願の米国特許出願「ＡＲＯＢＯＴＩＣＳＹＳＴＥＭＷＩＴＨＡＵＴＯＭＡＴＥＤＰＡＣＫＡＧＥＲＥＧＩＳＴＲＡＴＩＯＮＭＥＣＨＡＮＩＳＭＡＮＤＭＩＮＩＭＵＭＶＩＡＢＬＥＲＥＧＩＯＮＤＥＴＥＣＴＩＯＮ」に関連する主題を含む。関連出願は、Ｍｕｊｉｎ社に譲渡され、整理番号１３１８３７－８００３．ＵＳ４０で識別される。その主題は、参照により本明細書に組み込まれる。
【０００３】
本技術は、一般的に、ロボットシステムを対象とし、より具体的には、物体を登録するシステム、プロセス、および、技術を対象とする。
【背景技術】
【０００４】
多くの場合、パッケージは、目的地への出荷のためにパレットに配置され（または、「パレタイズされ」）、その後、目的地で、デパレタイズされる。パッケージは、資源集約的になったり、怪我の危険性を高めたりする人間作業者によってデパレタイズされる場合がある。産業環境においては、デパレタイズ作業は、パッケージを把持し、持ち上げ、運搬し、解放点まで運ぶロボットアーム等の産業用ロボットによって行われる。また、撮像装置を利用して、パレットに積まれたパッケージのスタックの画像が撮影される。システムは、画像を処理して、登録データソースに記憶された登録画像と撮影画像を比較する等によって、パッケージがロボットアームによって効率的に取り扱われることが保証されてもよい。
【０００５】
パッケージの撮影画像が、登録画像に一致する場合がある。また、結果として、撮影された物体の物理的特性（例えば、パッケージの寸法、重量、および／または、質量中心の測定値）が未知の場合がある。物理的特性の正確な識別に失敗すると、様々な望ましくない結果につながり得る。例えば、このような失敗は停止の原因となることがあり、停止すると、パッケージを手動で登録することが必要となり得る。また、このような失敗に起因して、特に、パッケージが比較的重いおよび／または傾いている場合、パッケージの取り扱いを誤る結果となり得る。
【０００６】
技術の様々な特徴および特性は、発明を実施するための形態を図面と共に検討すると、当業者には明らかになろう。技術の実施形態を、図面に例として示すが、図面に制限されるものではない。図面中、類似の参照番号は類似の要素を示してよい。
【図面の簡単な説明】
【０００７】
ロボットシステムが動作し得る環境の例を示す。
本技術の１つまたは複数の実施形態による、ロボットシステムを示す。
本技術の１つまたは複数の実施形態による、ロボットシステムが処理する物体のスタックの例を示す。
本技術の１つまたは複数の実施形態による、スタックの例の上面を示す。
本技術の１つまたは複数の実施形態による、上面に対応するセンサデータを示す。
本技術の１つまたは複数の実施形態による、最初の動作セットの後の上面に対応するセンサデータを示す。
本技術の１つまたは複数の実施形態による、図４Ａに示されたセンサデータの一部を示す。
本技術のある実施形態による、パレタイズされたパッケージのセットの上面図を示す。
本技術のある実施形態による、露出した外側角部のグラフィック表現を示す。
本技術のある実施形態による、パレタイズされたパッケージのセットのブロック図である。
本技術のある実施形態による、マージされたＭＶＲ領域の例を示す。
本技術のある実施形態による、物体認識プロセスのフロー図である。
本技術のある実施形態による、図１のロボットシステムを動作させる方法のブロック図である。
本明細書に記載の少なくとも幾つかの動作を実施できる処理システムの例を示すブロック図である。
【発明を実施するための形態】
【０００８】
図面は、説明のためだけに様々な実施形態を示す。本技術の趣旨を逸脱することなく、代替実施形態を採用してよいことを当業者は認識されよう。したがって、特定の実施形態を図面に示すが、技術は、様々な修正を受け入れてよい。
【０００９】
自動パッケージ登録機構を備えたロボットシステムのためのシステムおよび方法を本明細書に記載する。ある実施形態にしたがって構成されたロボットシステム（例えば、１つまたは複数の指定されたタスクを実行するデバイスを統合したシステム）は、未知の、または、認識されていない物体（例えば、パッケージ、箱、ケース等）を操作し、（例えば、人間オペレータによる入力が殆どまたは全く無しに）自律的／自動的に登録することによって、使用性と柔軟性を向上させる。
【００１０】
物体が認識されたか否かを判断するために、ロボットシステムは、スタート位置の物体に関するデータ（例えば、物体の露出面の１つまたは複数の画像）を取得し、既知のまたは予測される物体の登録データと比較できる。ロボットシステムは、比較されたデータ（例えば、比較された画像の一部）が、物体の１つの登録データ（例えば、登録された表面画像の１つ）と一致する場合に、その物体は認識されていると判断できる。ロボットシステムは、比較されたデータが既知または予測される物体の登録データと一致しない場合に、物体は認識されていないと判断できる。
（【００１１】以降は省略されています）

関連特許