特許ウォッチ

公開番号2024082912
公報種別公開特許公報(A)
公開日2024-06-20
出願番号2022197114
出願日2022-12-09
発明の名称監視システム及び監視方法
出願人日本製鉄株式会社,産業振興株式会社
代理人弁理士法人ブライタス
主分類H04N 7/18 20060101AFI20240613BHJP(電気通信技術)
要約【課題】撮影された鉄スクラップの画像を用いて禁忌物の有無を判定する処理において、判定精度を向上させることを可能にすること。
【解決手段】監視システムは、運搬装置を用いて鉄スクラップを第1の場所から第2の場所へ移す際に鉄スクラップを撮影する撮影部と、撮影により得られた画像と推定モデルとを用いて、鉄スクラップにおいて除去する対象となる禁忌物が含まれるか否かを示す情報を特定する禁忌物特定部と、禁忌物特定部において禁忌物が含まれると特定された場合に、特定された禁忌物を示す情報を出力する出力部と、を備える。
【選択図】図4

特許請求の範囲【請求項１】
運搬装置を用いて鉄スクラップを第１の場所から第２の場所へ移す際に前記鉄スクラップを撮影する撮影部と、
撮影により得られた画像と推定モデルとを用いて、前記鉄スクラップにおいて除去する対象となる禁忌物が含まれるか否かを示す情報を特定する禁忌物特定部と、
前記禁忌物特定部において禁忌物が含まれると特定された場合に、特定された前記禁忌物を示す情報を出力する出力部と、
を備える、監視システム。
続きを表示（約 890 文字）【請求項２】
前記撮影部は、
前記第１の場所から前記第２の場所までの前記鉄スクラップの運搬中、
前記第２の場所で前記鉄スクラップの荷下ろし中、
前記第２の場所に前記鉄スクラップが荷下ろしされた直後、
前記第１の場所で前記鉄スクラップの荷上げ中、及び、
前記第１の場所から前記鉄スクラップを荷上げした直後、のうち少なくともいずれかの期間に撮影する、請求項１に記載の監視システム。
【請求項３】
前記第１の場所には、鉄スクラップヤード内の所定位置に停車したトラックの荷台上が含まれ、
前記第２の場所には、鉄スクラップ積載場が含まれる、請求項１または２に記載の監視システム。
【請求項４】
前記第１の場所には、鉄スクラップ積載場が含まれ、
前記第２の場所には、鉄スクラップヤード内の所定位置に停車したトラックの荷台上が含まれる、請求項１または２に記載の監視システム。
【請求項５】
前記撮影部の撮影により得られた画像から未検出の禁忌物が含まれている可能性のある領域を限定する抽出を行う領域抽出部をさらに備え、
前記領域抽出部は、前記撮影部で異なるタイミングに撮影された２枚の画像間の差分を取ることで前記領域を限定する、請求項１または２に記載の監視システム。
【請求項６】
前記領域抽出部は、前記２枚の画像の撮影タイミングを、前記運搬装置の動作状態により決定する、請求項５に記載の監視システム。
【請求項７】
運搬装置を用いて鉄スクラップを第１の場所から第２の場所へ移す際に前記鉄スクラップを撮影する撮影ステップと、
撮影により得られた画像と推定モデルとを用いて、前記鉄スクラップにおいて除去する対象となる禁忌物が含まれるか否かを示す情報を特定する禁忌物特定ステップと、
前記禁忌物特定ステップにおいて禁忌物が含まれると特定された場合に、特定された前記禁忌物を示す情報を出力する出力ステップと、
を含む、監視方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、鉄スクラップの監視システム及び監視方法に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
近年、地球温暖化問題を背景としてＣＯ２排出量を削減する必要性から、鉄鋼業においては現在主要な製法である高炉法に代わり、電炉法が注目されている。電炉法の主原料は鉄スクラップであるが、銅などのトランプエレメントが混入すると自動車向け鋼板などの高級鋼製造時に割れ等の不良品を発生させる要因になる。またガスボンベなどの密閉物が混入していると電炉内で爆発を引き起こす危険性がある。そのため、鉄スクラップからトランプエレメント含有物や密閉物などを除去する技術が重要である。
【０００３】
例えば、特許文献１には、破砕後の鉄スクラップ群をカラーテレビカメラで撮影し、彩度値と色相角値をもとに銅を含有した破砕片を自動識別する技術が開示されている。しかしながら、特許文献１に記載の技術は、検知可能な対象物が銅に限定されている。加えて、モーターのように銅線が内包され外から見えない対象物は検知できない。
【０００４】
特許文献２には、トラックの荷台に積載されたスクラップ群をカメラで撮影し、人工知能により撮影データに禁忌物（除去すべき対象物）が映っているか否かを判断し、禁忌物が映っているならば作業者にその旨を知らせ除去させる方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
特開平７－２５３４００号公報
特開２０２０－１７６９０９号公報
【非特許文献】
【０００６】
Joseph Redmon、他３名、“You Only Look Once: Unified, Real-Time Object Detection”[令和３年５月１８日検索]、インターネット〈https://arxiv.org/abs/1506.02640〉
Olaf Ronneberger、他２名、“U-Net：Convolutional Networks for Biomedical Image Segmentation”［令和３年５月１８日検索］、インターネット〈URL:https://arxiv.org/abs/1505.04597〉
Samet Akcay、他２名、“GANomaly：Semi-Supervised Anomaly Detection via Adversarial Training”[令和３年５月１８日検索]、インターネット〈https://arxiv.org/abs/1805.06725〉
Paul Bergmann、他３名、“Improving Unsupervised Defect Segmentation by Applying Structural Similarity to Autoencoders”、[令和３年５月１８日検索]、インターネット〈https://arxiv.org/abs/1807.02011〉
Paolo Napoletano、他２名、“Anomaly Detection in Nanofibrous Materials by CNN-Based Self-Similarity”、[令和３年５月１８日検索]、インターネット〈https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5795842/〉
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献２に記載の技術は、トラックの荷台上にある鉄スクラップ群が静止した状態での撮影を前提としている。そのため、鉄スクラップ群を撮影するカメラの画角内に、撮影の邪魔となるリフトマグネットが映っていないタイミングで、静止した状態の鉄スクラップ群を撮影する。リフトマグネットがカメラの画角から外れていることの確認は、位置センサ、作業者、もしくは人工知能により行う。この確認ステップを経て、カメラによる撮影、人工知能による禁忌物有無の判定処理、判定結果の作業者への表示が行われる。
【０００８】
このような特許文献２の方法では荷台上のスクラップ群の表面から少し奥に入った物体などは画像に映りにくく、たとえ映ったとしても認識し難いため、禁忌物を見逃す場合がある。そのため、禁忌物の有無の判定処理の精度が低下してしまうおそれがあった。
【０００９】
本発明は、上記事情に鑑みてなされたものである。すなわち、撮影されたスクラップ群の画像を用いて禁忌物の有無を判定する処理において、判定精度を向上させることが可能となる技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明のある観点によれば、運搬装置を用いて鉄スクラップを第１の場所から第２の場所へ移す際に鉄スクラップを撮影する撮影部と、撮影により得られた画像と推定モデルとを用いて、鉄スクラップにおいて除去する対象となる禁忌物が含まれるか否かを示す情報を特定する禁忌物特定部と、禁忌物特定部において禁忌物が含まれると特定された場合に、特定された禁忌物を示す情報を出力する出力部と、を備える監視システムが提供される。
（【００１１】以降は省略されています）

関連特許