特許ウォッチ

公開番号2025093890
公報種別公開特許公報(A)
公開日2025-06-24
出願番号2024215128
出願日2024-12-10
発明の名称物品をピッキングするためのシステムおよび方法
出願人株式会社日立製作所
代理人弁理士法人サンネクスト国際特許事務所
主分類G06T 7/70 20170101AFI20250617BHJP(計算;計数)
要約【課題】複数の物体を認識して荷降ろしするための方法及びシステムを提供する。
【解決手段】ロボットデバイスを含むシステムにおいて、方法は、複数の物体が荷降ろしされるまで、視覚センサを通して物体データを収集することと、前記物体データに基づいて物体姿勢および物体位置を判定することによって物体認識を実行することと、前記複数の物体のうちの物体が、ピッキングのために利用可能であると判定された場合、ロボットデバイスを使用して前記物体をピックアップして荷降ろしすることと、ピッキングのために利用可能であると判定された物体がない場合、物体認識エラーの発生を判定することと、前記物体認識エラーが検出された場合、前記物体認識エラーに対処するためにリカバリプロセスを実行することと、前記物体認識エラーが検出されていない場合、前記複数の物体の荷降ろしの完了を認識することと、を実行することと、を繰り返し実行する。
【選択図】図3
特許請求の範囲【請求項１】
複数の物体を認識して荷降ろしするための方法であって、前記複数の物体が荷降ろしされるまで、
プロセッサによって、視覚センサを通して物体データを収集することと、
前記プロセッサによって、前記物体データに基づいて物体姿勢および物体位置を判定することによって物体認識を実行することと、
前記複数の物体のうちの物体が認識され、ピッキングのために利用可能であると判定された場合、ロボットデバイスを使用して前記物体をピックアップして荷降ろしすることと、
ピッキングのために利用可能であると判定された物体がない場合、
前記プロセッサによって、物体認識エラーの発生を判定することと、
前記物体認識エラーが検出された場合、前記プロセッサによって、前記物体認識エラーに対処するためにリカバリプロセスを実行することと、
前記物体認識エラーが検出されていない場合、前記プロセッサによって、前記複数の物体の荷降ろしの完了を認識することと、を実行することとを繰り返し実行することを含む、方法。
続きを表示（約 1,800 文字）【請求項２】
前記物体姿勢が物体寸法を含む、請求項１に記載の方法。
【請求項３】
前記プロセッサが、前記物体認識エラーに対処するための前記リカバリプロセスを、
前記物体データを含むリカバリ要求をユーザに送ることと、
前記リカバリ要求に応答して、前記ユーザから補正応答を受信することであって、前記補正応答が、少なくとも１つの選択された認識エラーエリアと、少なくとも１つの種類の認識エラーとを含む、受信することと、
前記補正応答に基づいて物体認識のためのデータを更新し、物体認識を再実行することと
によって実行するように構成されている、請求項１に記載の方法。
【請求項４】
物体認識が、少なくとも１つの学習可能な物体認識機能を使用して実行される、請求項３に記載の方法。
【請求項５】
前記少なくとも１つの学習可能な物体認識機能の訓練が、オンラインか、またはオフラインで実行される、請求項４に記載の方法。
【請求項６】
前記物体データを含む前記リカバリ要求を前記ユーザに送ることが、前記リカバリ要求を、前記ユーザが検討するためにグラフィックユーザインターフェース（ＧＵＩ）に送ることを含む、請求項３に記載の方法。
【請求項７】
前記プロセッサが、確信度の値を生成するために前記複数の物体に対して物体確信度演算を実行することによって物体認識を実行するように構成されており、各確信度の値が、前記複数の物体のうちの対応する物体に関連付けられており、
前記複数の物体のうちの物体の認識が、
前記物体の確信度の値を確信度閾値と比較し、
前記物体の前記確信度の値が前記確信度閾値以上である場合、前記物体を認識済みと判定し、
前記物体の前記確信度の値が前記確信度閾値未満の場合、前記物体を認識されていないと判定することによって実行され、
前記プロセッサが、前記確信度閾値に対して閾値調整をさらに実行することによって前記物体認識エラーに対処するために前記リカバリプロセスを実行するように構成されている、
請求項３に記載の方法。
【請求項８】
前記プロセッサが、物体認識を、
第１の物体境界を検出するために、前記複数の物体の赤、青、および緑（ＲＧＢ）の画像を使用して物体エッジ検出を実行し、
第２の物体境界を検出するために、前記複数の物体の深さ画像を使用して物体エッジ検出を実行し、
第１の訓練された機械学習モデルに対する入力として、前記ＲＧＢ画像を使用して第１の確率画像を生成し、
第２の訓練された機械学習モデルに対する入力として、前記深さ画像を使用して第２の確率画像を生成し、
前記第１の確率画像および前記第２の確率に対して重みを割り当て、
前記複数の物体の二値化エッジマップを生成するために前記重みに基づいて前記第１の確率画像および前記第２の確率画像を結合し、
前記二値化エッジマップを使用して前記複数の物体の物体認識を実行することによって実行するように構成されており、
前記物体データが、前記ＲＧＢ画像および前記深さ画像を含む、請求項３に記載の方法。
【請求項９】
前記プロセッサが、前記物体認識エラーに対処するための前記リカバリプロセスを、
物体認識の結果として誤って分割された物体または誤って分割されていない物体の存在を検出することと、
物体認識を改善するために、前記第１の確率画像および前記第２の確率画像に割り当てられた前記重みを調整することと
をさらに実行することによって実行するように構成されている、請求項８に記載の方法。
【請求項１０】
前記プロセッサが、前記第１の確率画像および前記第２の確率画像に割り当てられた前記重みを、
失敗した物体分割が検出された場合、前記重みのうちの第１の重みを増加させるか、または前記重みのうちの第２の重みを減少させ、前記第１の重みが前記第１の確率画像に関連付けられており、前記第２の重みが前記第２の確率画像に関連付けられており、
誤って分割された物体が検出された場合、前記第１の重みを減少させるか、または第２の重みを増加させる、ことによって調整するように構成されている、請求項９に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、一般に、物体認識および荷降ろしを実行するための方法およびシステムに関する。
続きを表示（約 3,000 文字）【背景技術】
【０００２】
業務動作の一部として、パレットからの物品のデパレタイズは、小売業者、卸売業者、および他のサードパーティの物流ベンダによって実行されている。いくつかのパレットは１種類の小荷物または単一の最小在庫管理単位（ＳｔｏｃｋＫｅｅｐｉｎｇＵｎｉｔ、ＳＫＵ）のみを有する場合があるが、他のパレットは、混載ＳＫＵとしても知られている異なる種類の小荷物を含む場合がある。ロボットアームなどのロボットデバイスは、単一ＳＫＵおよび混載ＳＫＵの両方のパレタイズおよびデパレタイズを実行する際に使用されている。
【０００３】
関連技術において、コンピュータビジョン技法（例えば、従来のルール依存型方法、機械学習ベースの方法など）を利用した認識ソフトウェアが開発され、物体およびそれらの場所を認識する際に利用されてきた。物体認識を実行すると、ロボットデバイスは次いで認識結果に基づいて識別された物体をピッキング／把持して、移動させることに進む。しかしながら、認識ソフトウェアは、物品／物体を正確に認識できず、パレタイズおよびデパレタイズの失敗につながるという課題が残っている。これは、混載ＳＫＵのデパレタイズに関しては、多くの種類の物体が関与するため、特に問題である。
【０００４】
関連技術において、リモート知覚支援および物体識別修正を実行するための方法が開示されている。物体識別を検証して修正を提供するために、リモート支援が望まれている。その修正に基づいて、物体に対する追加の処理作業が次いでロボットによって実行される。
【０００５】
関連技術において、ピッキングするための物体を識別するために機械学習モデルを訓練するための方法が開示されている。機械学習モデルを訓練する際に使用されるデータは、機械学習モデルが物体検出に失敗したエッジケースから収集されている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
現在、誤認識結果またはエラーが発生したときに、リモートリカバリが必要とされる。リモートリカバリは、ロボットデバイスに、パレット上の物体の画像を人間オペレータに対して送らせ、人間オペレータが次いで検出されていない物体または誤って別の物体とグループ化されている物体に対して物体エリア選択を実行し（例えば、物体に対して矩形エリアを生成する）、ロボットデバイスに対して、識別されるようになった物体をピッキング／把持することを命令することによって実行される。しかしながら、このリモートリカバリプロセスは、以下の２つの理由のために不十分である。１）人間によって実行されるときの手作業の物体選択は、物体選択および面倒な注釈の複雑性に起因して時間がかかる場合がある、および２）認識ソフトウェアの認識度／認識能力は、物体境界などの有用な情報が提供または利用されていないときに改善されない。
【０００７】
図１（Ａ）～図１（Ｃ）は、従来のリカバリプロセスの例示的なプロセスフローを示す図である。図１（Ａ）に示すように、認識エラーが発生し、識別されている。様々な認識エラーは、図１（Ａ）に示される物体に関連している。特に、左上の物体および右上の物体は認識されておらず、中央の物体は姿勢エラーを有し、右下の物体は正しくフィットしておらず、左下の物体は、分割されておらず、正しくない。パレット１００上の中央の物体を例として使用すると、姿勢エラーが識別されており、リモートリカバリ支援が必要である。図１（Ｂ）に示すように、中央の物体は、リカバリアプローチの下で人間オペレータによってリモートで選択されている。どの物体を選択するかを判定し、その物体を強調することは専門知識が必要であり、時間がかかる場合がある。図１（Ｃ）に示すように、物体認識機能を改善するために必要な情報は、手作業で注釈付けされ、追加のコストおよび時間がかかる。
【課題を解決するための手段】
【０００８】
本開示の態様は、複数の物体を認識して荷降ろしするための革新的な方法を伴う。本方法は、複数の物体が荷降ろしされるまで、プロセッサによって、視覚センサを通して物体データを収集することと、プロセッサによって、物体データに基づいて物体姿勢および物体位置を判定することによって物体認識を実行することと、複数の物体のうちの物体が認識され、ピッキングのために利用可能であると判定された場合、ロボットデバイスを使用して物体をピックアップして荷降ろしすることと、ピッキングのために利用可能であると判定された物体がない場合、プロセッサによって、物体認識エラーの発生を判定することと、物体認識エラーが検出された場合、プロセッサによって、物体認識エラーに対処するためにリカバリプロセスを実行することと、物体認識エラーが検出されていない場合、プロセッサによって、複数の物体の荷降ろしの完了を認識することと、を実行することとを繰り返し実行することを含み得る。
【０００９】
本開示の態様は、複数の物体を認識して荷降ろしするための命令を記憶する、革新的な非一時的コンピュータ可読媒体を伴う。本命令は、複数の物体が荷降ろしされるまで、プロセッサによって、視覚センサを通して物体データを収集することと、プロセッサによって、物体データに基づいて物体姿勢および物体位置を判定することによって物体認識を実行することと、複数の物体のうちの物体が認識され、ピッキングのために利用可能であると判定された場合、ロボットデバイスを使用して物体をピックアップして荷降ろしすることと、ピッキングのために利用可能であると判定された物体がない場合、プロセッサによって、物体認識エラーの発生を判定することと、物体認識エラーが検出された場合、プロセッサによって、物体認識エラーに対処するためにリカバリプロセスを実行することと、物体認識エラーが検出されていない場合、プロセッサによって、複数の物体の荷降ろしの完了を認識することと、を実行することとを繰り返し実行することを含み得る。
【００１０】
本開示の態様は、複数の物体を認識して荷降ろしするための革新的なサーバシステムを伴う。本サーバシステムは、複数の物体が荷降ろしされるまで、プロセッサによって、視覚センサを通して物体データを収集することと、プロセッサによって、物体データに基づいて物体姿勢および物体位置を判定することによって物体認識を実行することと、複数の物体のうちの物体が認識され、ピッキングのために利用可能であると判定された場合、ロボットデバイスを使用して物体をピックアップして荷降ろしすることと、ピッキングのために利用可能であると判定された物体がない場合、プロセッサによって、物体認識エラーの発生を判定することと、物体認識エラーが検出された場合、プロセッサによって、物体認識エラーに対処するためにリカバリプロセスを実行することと、物体認識エラーが検出されていない場合、プロセッサによって、複数の物体の荷降ろしの完了を認識することと、を実行することとを繰り返し実行することを含み得る。
（【００１１】以降は省略されています）

関連特許