特許ウォッチ

公開番号2025100476
公報種別公開特許公報(A)
公開日2025-07-03
出願番号2024224203
出願日2024-12-19
発明の名称荷役過程による鉄スクラップ分類情報を提供する方法および鉄スクラップ分類装置
出願人エルジーシーエヌエスカンパニーリミテッド,ダイハンスチール
代理人個人,個人,個人,個人,個人
主分類B66C 13/22 20060101AFI20250626BHJP(巻上装置;揚重装置;牽引装置)
要約【課題】荷役過程において、積載状態イメージに含まれる一つ以上の鉄スクラップに対するイメージ分析および分類の正確度を向上する。
【解決手段】受信部110が積載装備に積載されている複数個の鉄スクラップに対する荷役過程中に撮像される積載状態イメージを獲得し、プロセッサ120が前記荷役過程が進行されるにつれて、前記複数個の鉄スクラップの高さにより決定されるレイヤ情報を獲得して関心領域を決定し、前記関心領域に含まれる対象鉄スクラップに対する分割イメージを獲得し、前記対象鉄スクラップに対する品目情報および等級情報を獲得し、前記品目情報および前記等級情報を含む鉄スクラップ分類情報を提供する。
【選択図】図1
特許請求の範囲【請求項１】
荷役過程による鉄スクラップ分類情報を提供する方法において、
受信部が積載装備に積載されている複数個の鉄スクラップに対する荷役過程中に撮像される積載状態イメージを獲得する段階；
プロセッサが前記荷役過程が進行されるにつれて更新され、前記複数個の鉄スクラップの高さにより決定されるレイヤ情報を獲得する段階；
前記プロセッサが前記荷役過程が進行されるにつれて更新される前記積載状態イメージに基づいて関心領域を決定する段階；
前記プロセッサが前記関心領域に含まれ、前記複数個の鉄スクラップのうちいずれか一つである対象鉄スクラップに対する分割イメージを獲得する段階；
前記プロセッサが前記分割イメージおよび前記レイヤ情報に基づいて前記対象鉄スクラップに対する品目情報および等級情報を獲得する段階；および
前記プロセッサが前記品目情報および前記等級情報を含む鉄スクラップ分類情報を提供する段階；を含む、方法。
続きを表示（約 1,500 文字）【請求項２】
前記レイヤ情報を獲得する方式は
一つのカメラを利用するモノタイプまたは二個以上のカメラを利用するステレオタイプを含み、
前記モノタイプは前記一つのカメラで獲得されるイメージから獲得される荷台の壁面の変化に対する分析を通じて獲得されるデプス情報を利用する、請求項１に記載の方法。
【請求項３】
前記関心領域を決定する段階は
前記プロセッサが第１時点に対応する第１積載状態イメージと前記第１時点より時間的に後行する第２時点に対応する第２積載状態イメージの比較結果に基づいて前記関心領域を決定する、請求項１に記載の方法。
【請求項４】
前記関心領域を決定する段階は
前記プロセッサが前記第１積載状態イメージと前記第２積載状態イメージ間の相違領域および前記荷役過程に利用されるグラップルの動作領域に基づいて前記関心領域を決定する、請求項３に記載の方法。
【請求項５】
前記プロセッサが前記分割イメージを獲得する段階はセグメンテーションモデルを利用して前記積載状態イメージから前記対象鉄スクラップを含む前記分割イメージを獲得し、
前記プロセッサが前記品目情報および前記等級情報を獲得する段階はイメージ単位で分析を遂行するクラシフィケーションモデルを利用して前記対象鉄スクラップに対応する前記品目情報および前記等級情報を獲得する、請求項１に記載の方法。
【請求項６】
前記分割イメージを獲得する段階は
前記プロセッサが前記積載状態イメージに対するインスタンスセグメンテーションを遂行して単一客体に対する前記分割イメージを獲得する段階；および
前記プロセッサが前記積載状態イメージに対するセマンティックセグメンテーションを遂行して群集客体に対する前記分割イメージを獲得する段階；を含む、請求項５に記載の方法。
【請求項７】
前記群集客体に対する前記分割イメージを獲得する段階は
前記積載状態イメージのうち前記単一客体に対応する領域が排除された領域に対して遂行される、請求項６に記載の方法。
【請求項８】
前記ステレオタイプは同一平面上に位置する前記二個以上のカメラから同一領域に対して獲得されるイメージから獲得される角度変化に対する分析を通じて獲得される前記デプス情報を利用する、請求項２に記載の方法。
【請求項９】
前記第２時点は前記第１時点以後前記グラップルが前記積載装備の垂直方向の領域のうちいずれの一部の領域に含まれるかの有無に基づいて決定され、
前記関心領域を決定する段階は
前記グラップルが前記一部の領域に既設定時間以上含まれる場合、前記プロセッサが前記グラップルが少なくとも一つ以上の鉄スクラップを含んでいるかに対する前記グラップルの動作状態に基づいて前記関心領域を決定する、請求項４に記載の方法。
【請求項１０】
前記レイヤ情報を獲得する方式は
前記プロセッサが前記ステレオタイプにより獲得される前記デプス情報に基づいて前記複数個の鉄スクラップの高さが臨界長さ以上に変化する第１レイヤ変化時点を獲得し、
前記プロセッサが前記積載装備の平均体積を基準として前記複数個の鉄スクラップの体積が臨界パーセント以上に変化する第２レイヤ変化時点を獲得し、
前記プロセッサが前記第１レイヤ変化時点および前記第２レイヤ変化時点のうち少なくとも一つに基づいて前記レイヤ情報を獲得する、請求項８に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示の技術分野は積載装備に積載された物品または単一物品などの荷役過程によるイメージ分類結果情報を提供する方法に関し、一つ以上の鉄スクラップが荷下ろしされる領域に対するイメージ分析による鉄スクラップ分類情報を提供する方法に対する技術分野に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
最近物流産業の増加により、多様な物品を積載したりまたは一つの場所から他の場所に移動するために物品を積載する積載装備が多く利用されているのが実情である。しかし、積載装備に積載された複数の物品は作業者の判断によって製品別、規格別位置を管理したり積載され得るが、毎度これを確認するのには困難があり得るため、複数の物品が積載された積載装備の全体領域を分割することによって各領域のイメージをモニタリングできるようにするセグメンテーション方法が利用され得る。一般的に鉄スクラップ関連イメージ分析のためのセグメンテーション方法の場合、ＡＩが最適な性能を発揮できるように光学系（ＣＣＴＶおよび機構部）の位置および角度を設定するＨ／Ｗエンジニアリングなしに荷役（荷下ろし）場所に容易に光学系を設置してイメージを取得しており、このような場合に、一貫した特徴が少なく（活用方式による多様な形状、地味なテクスチャー（質感）、多様な色感（ペインティング、サビ（ｒｕｓｔ）等））、多様な切断方式、反りなどによる非定型的な鉄スクラップを客体分割（ＩｎｓｔａｎｃｅＳｅｇｍｅｎｔａｔｉｏｎ）により分類する方法で鉄スクラップの等級を判定する方式を採択したので、多量のイメージ収集とラベリングが必要であるという限界点が存在するのが実情である。したがって、このような多量のイメージ収集を必要とする分析方法の限界点を解決できるイメージ分析方法およびシステムを提供することによって、より少ない量のイメージ収集およびラベリングだけで性能を高め得るようにするサービス提供が必要であるのが実情である。
【先行技術文献】
【特許文献】
【０００３】
韓国公開特許第１０－２０１１－００７８５６６号（２０１１．０７．０７）デジタル映像認識を利用した効率的な物品積載位置検出システム
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示で解決しようとする課題は、荷役過程による鉄スクラップに分類情報を提供するにあたって、積載状態イメージに含まれる一つ以上の鉄スクラップに対するイメージ分析および分類の正確度が向上し得るようにするためのものであって、荷役過程中に撮像される積載状態イメージから荷下ろし領域と判断される領域に対する分割イメージを獲得し、分割イメージに対する正確度の高いイメージ分類情報を提供するサービスを提供するためのものである。
【０００５】
本開示で解決しようとする課題は、前記のような技術的課題に限定されず、さらに他の技術的課題が存在し得る。
【課題を解決するための手段】
【０００６】
前述した技術的課題を達成するための技術的手段として、本開示の第１側面に係る荷役過程による鉄スクラップ分類情報を提供する方法は、荷役過程による鉄スクラップ分類情報を提供する方法において、受信部が積載装備に積載されている複数個の鉄スクラップに対する荷役過程中に撮像される積載状態イメージを獲得する段階；プロセッサが前記荷役過程が進行されるにつれて更新され、前記複数個の鉄スクラップの高さにより決定されるレイヤ情報を獲得する段階；前記プロセッサが前記荷役過程が進行されるにつれて更新される前記積載状態イメージに基づいて関心領域を決定する段階；前記プロセッサが前記関心領域に含まれ、前記複数個の鉄スクラップのうちいずれか一つである対象鉄スクラップに対する分割イメージを獲得する段階；前記プロセッサが前記分割イメージおよび前記レイヤ情報に基づいて前記対象鉄スクラップに対する品目情報および等級情報を獲得する段階；および前記プロセッサが前記品目情報および前記等級情報を含む鉄スクラップ分類情報を提供する段階；を含むことができる。
【０００７】
また、前記レイヤ情報を獲得する方式は一つのカメラを利用するモノタイプまたは二個以上のカメラを利用するステレオタイプを含み、前記モノタイプは前記一つのカメラで獲得されるイメージから獲得される荷台の壁面の変化に対する分析を通じて獲得されるデプス情報を利用することができる。
【０００８】
また、前記関心領域を決定する段階は前記プロセッサが第１時点に対応する第１積載状態イメージと前記第１時点より時間的に後行する第２時点に対応する第２積載状態イメージの比較結果に基づいて前記関心領域を決定することができる。
【０００９】
また、前記関心領域を決定する段階は前記プロセッサが前記第１積載状態イメージと前記第２積載状態イメージ間の相違領域および前記荷役過程に利用されるグラップルの動作領域に基づいて前記関心領域を決定することができる。
【００１０】
また、前記プロセッサが前記分割イメージを獲得する段階はセグメンテーションモデルを利用して前記積載状態イメージから前記対象鉄スクラップを含む前記分割イメージを獲得し、前記プロセッサが前記品目情報および前記等級情報を獲得する段階はイメージ単位で分析を遂行するクラシフィケーションモデルを利用して前記対象鉄スクラップに対応する前記品目情報および前記等級情報を獲得することができる。
（【００１１】以降は省略されています）

関連特許