特許ウォッチ

公開番号2024087501
公報種別公開特許公報(A)
公開日2024-07-01
出願番号2022202349
出願日2022-12-19
発明の名称監視システム及び監視方法
出願人日本製鉄株式会社
代理人弁理士法人ブライタス
主分類B07C 5/342 20060101AFI20240624BHJP(固体相互の分離;仕分け)
要約【課題】鉄スクラップから禁忌物を検出する禁忌物検出モデルの生成に用いる既知データ(学習データ)を効率的に収集し、禁忌物検出モデルによる禁忌物の検出精度を維持する。
【解決手段】監視システムは、鉄スクラップを撮影する1または複数の撮影装置と、鉄スクラップから除去する対象の禁忌物を検出する禁忌物検出モデルに、撮影装置により撮影された画像を入力して、禁忌物を検出する禁忌物検出装置と、検品作業中または鉄スクラップの運搬中に入力された、禁忌物検出装置による禁忌物の検出結果に対する作業者判断を、画像に関連付けてアノテーション候補画像とし、データ記憶部に記録する作業者端末とを備える。
【選択図】図1
特許請求の範囲【請求項１】
鉄スクラップを撮影する１または複数の撮影装置と、
鉄スクラップから除去する対象の禁忌物を検出する禁忌物検出モデルに、前記撮影装置により撮影された画像を入力して、前記禁忌物を検出する禁忌物検出装置と、
検品作業中または鉄スクラップの運搬中に入力された、前記禁忌物検出装置による禁忌物の検出結果に対する作業者判断を、前記画像に関連付けてアノテーション候補画像とし、データ記憶部に記録する作業者端末と、
を備える、監視システム。
続きを表示（約 670 文字）【請求項２】
アノテーション端末をさらに備え、
前記アノテーション端末は、前記アノテーション候補画像に対するラベルデータを前記アノテーション候補画像と関連付けて前記データ記憶部に記録するアノテーションを実施する、請求項１に記載の監視システム。
【請求項３】
前記アノテーション端末は、
前記アノテーション候補画像に関連付けられた前記作業者判断に基づいて、前記アノテーションを実施する優先順位を決定し、
前記優先順位の高い順に、前記アノテーションを実施する、請求項２に記載の監視システム。
【請求項４】
前記禁忌物検出装置は、前記アノテーションの実施により生成された追加学習データを用いて前記禁忌物検出モデルを更新する、請求項２に記載の監視システム。
【請求項５】
前記作業者端末は、運搬装置の運転室に設置されている、請求項１～４のいずれか１項に記載の監視システム。
【請求項６】
１または複数の撮影装置により鉄スクラップを撮影する撮影ステップと、
鉄スクラップから除去する対象の禁忌物を検出する禁忌物検出モデルに、前記撮影装置により撮影された画像を入力して、前記禁忌物を検出する禁忌物検出ステップと、
検品作業中または鉄スクラップの運搬中に入力された、前記禁忌物の検出結果に対する作業者判断を、前記画像に関連付けてアノテーション候補画像とし、データ記憶部に記録する判断記録ステップと、
を含む、鉄スクラップの監視方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、鉄スクラップを監視する監視システム及び監視方法に関する。
続きを表示（約 2,600 文字）【背景技術】
【０００２】
近年、地球温暖化問題を背景としてＣＯ
２
排出量を削減する必要性から、鉄鋼業においては現在主要な製法である高炉法に代わり、電炉法が注目されている。電炉法の主原料は鉄スクラップであるが、銅などのトランプエレメントが混入すると自動車向け鋼板などの高級鋼製造時に割れ等の不良品を発生させる要因になる。またガスボンベなどの密閉物が混入していると電炉内で爆発を引き起こす危険性がある。そのため、鉄スクラップからトランプエレメント含有物や密閉物などを除去する技術が重要である。
【０００３】
従来、市中の解体現場等から集められた鉄スクラップ中の禁忌物（除去すべき対象物）を、撮影装置により鉄スクラップを撮影した画像から、画像認識技術を用いて自動的に検知することが行われている（例えば、特許文献１）。画像認識技術は、例えば、機械学習等の技術によって、過去に収集された複数枚の撮影画像とそれらの撮影画像に含まれていた禁忌物を示すラベルとからなる既知データを教師データとして用いて、禁忌物の特徴を機械学習することによって生成される禁忌物検出モデル（いわゆる学習済モデル）を用いることで実現可能である。
【先行技術文献】
【特許文献】
【０００４】
特開２０２１－１６３０７８号公報
【非特許文献】
【０００５】
Joseph Redmon、他３名、“You Only Look Once: Unified, Real-Time Object Detection”[令和３年５月１８日検索]、インターネット〈https://arxiv.org/abs/1506.02640〉
Olaf Ronneberger、他２名、“U-Net：Convolutional Networks for Biomedical Image Segmentation”［令和３年５月１８日検索］、インターネット〈URL:https://arxiv.org/abs/1505.04597〉
Samet Akcay、他２名、“GANomaly：Semi-Supervised Anomaly Detection via Adversarial Training”[令和３年５月１８日検索]、インターネット〈https://arxiv.org/abs/1805.06725〉
Paul Bergmann、他３名、“Improving Unsupervised Defect Segmentation by Applying Structural Similarity to Autoencoders”、[令和３年５月１８日検索]、インターネット〈https://arxiv.org/abs/1807.02011〉
Paolo Napoletano、他２名、“Anomaly Detection in Nanofibrous Materials by CNN-Based Self-Similarity”、[令和３年５月１８日検索]、インターネット〈https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5795842/〉
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、鉄スクラップにおいては、禁忌物検出モデルを生成した時点で想定していない特徴を有するものが新たに検出対象の禁忌物となる場合もある。例えば、単純に学習時点で用意したデータが実際のすべての禁忌物の特徴を網羅できるほどに十分でなかった場合がある。あるいは、新製品が開発されたり、製品の規格が変化したりすることで、時代とともに禁忌物の形状が変化することもある。また、古い建物を解体した鉄スクラップには、禁忌物検出モデルを生成した際には認識していなかった古い禁忌物が含まれることもあり得る。さらに、禁忌物リストが更新されたり、禁忌物検出モデルを生成した際に検出対象の禁忌物を考慮していなかったりすることもある。このような場合、当該禁忌物検出モデルでは新たに検出対象となった禁忌物を検出できない可能性もあり、禁忌物の見逃しの原因となり得る。
【０００７】
新たに検出対象となった禁忌物の検出を高めるには、継続的に機械学習に追加すべき画像の選定及びアノテーション（画像に対してラベルを付与して学習データを作成する作業）を実施し、短周期で禁忌物検出モデルを再学習させる必要がある。しかし、禁忌物の発生頻度は１日数回と非常に低く、撮影装置により得られたすべての画像から禁忌物が写っている画像を選定するには多大な時間と労力がかかる。
【０００８】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、鉄スクラップから禁忌物を検出する禁忌物検出モデルの生成に用いる既知データ（いわゆる学習データ）を効率的に収集し、禁忌物検出モデルによる禁忌物の検出精度を維持することが可能な、監視システム及び監視方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、鉄スクラップを撮影する１または複数の撮影装置と、鉄スクラップから除去する対象の禁忌物を検出する禁忌物検出モデルに、撮影装置により撮影された画像を入力して、禁忌物を検出する禁忌物検出装置と、検品作業中または鉄スクラップの運搬中に入力された、禁忌物検出装置による禁忌物の検出結果に対する作業者判断を、画像に関連付けてアノテーション候補画像とし、データ記憶部に記録する作業者端末とを備える、監視システムが提供される。
【００１０】
監視システムは、アノテーション端末をさらに備えてもよい。アノテーション端末は、アノテーション候補画像に対するラベルデータをアノテーション候補画像と関連付けてデータ記憶部に記録するアノテーションを実施する。
（【００１１】以降は省略されています）

関連特許