特許ウォッチ

公開番号2024144274
公報種別公開特許公報(A)
公開日2024-10-11
出願番号2024046477
出願日2024-03-22
発明の名称フォークリフト状態の検出装置及び方法
出願人富士通株式会社
代理人個人,個人
主分類G06T 7/00 20170101AFI20241003BHJP(計算;計数)
要約【課題】本発明の実施例は、フォークリフト状態の検出装置及び方法を提供する。
【解決手段】該方法は、フォークリフトの頂部に設置されたカメラ装置により下方へ撮影されたビデオを取得するステップと、該ビデオの画像をオブジェクト検出モデルに入力し、オブジェクト検出結果を出力するステップであって、該オブジェクト検出結果は、フォークリフト積載領域の状態と、フォークリフトの少なくとも1つの部材及び人物の検出結果とを含む、ステップと、該オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定するステップと、を含む。
【選択図】図1

特許請求の範囲【請求項１】
フォークリフト状態の検出装置であって、
フォークリフトの頂部に設置されたカメラ装置により下方へ撮影されたビデオを取得する取得部と、
前記ビデオの画像をオブジェクト検出モデルに入力し、オブジェクト検出結果を出力する検出部であって、前記オブジェクト検出結果は、フォークリフト積載領域の状態と、フォークリフトの少なくとも１つの部材及び人物の検出結果とを含む、検出部と、
前記オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定する第１の決定部と、を含む、装置。
続きを表示（約 1,300 文字）【請求項２】
前記オブジェクト検出モデルは、カスケード接続された第１のモデル及び第２のモデルを含み、
前記第１のモデルは、前記ビデオの画像に基づいて第１の検出結果を出力し、前記第１の検出結果は、フォークリフトの少なくとも１つの部材及び人物の検出結果を含み、
前記第２のモデルは、前記第１の検出結果に基づいて第２の検出結果を出力し、前記第２の検出結果は、フォークリフト積載領域の状態を含む、請求項１に記載の装置。
【請求項３】
前記フォークリフトの少なくとも１つの部材の検出結果は、フォークリフトのマストの検出結果を含み、
前記第１の決定部は、前記ビデオの連続的なフレーム間の２つのマスト間の領域の面積の変化に基づいて、フォークリフトのマストが内側に移動するか、それとも外側に移動するかを決定する、請求項１に記載の装置。
【請求項４】
前記フォークリフトの少なくとも１つの部材の検出結果は、フォークリフトのバックレスト領域の検出結果を含み、
前記第１の決定部は、前記ビデオの連続的なフレーム間のバックレスト領域の中心と画像の中心との距離の変化又はバックレスト領域の中心と画像の下端との距離の変化に基づいて、フォークリフトのマストが上昇するか、それとも下降するかを決定する、請求項１に記載の装置。
【請求項５】
前記オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの周囲の人を決定する第２の決定部、をさらに含む、請求項１に記載の装置。
【請求項６】
前記第２の決定部は、画像全体のサイズに対する人物の検出枠のサイズの比率に基づいて、前記人物がフォークリフトの周囲の人であるか、それとも運転者であるかを決定する、請求項５に記載の装置。
【請求項７】
前記オブジェクト検出モデルは、Ｙｏｌｏｘネットワークに基づくオブジェクト検出モデルである、請求項１に記載の装置。
【請求項８】
請求項１に記載の装置を含む電子機器。
【請求項９】
フォークリフト状態の検出方法であって、
フォークリフトの頂部に設置されたカメラ装置により下方へ撮影されたビデオを取得するステップと、
前記ビデオの画像をオブジェクト検出モデルに入力し、オブジェクト検出結果を出力するステップであって、前記オブジェクト検出結果は、フォークリフト積載領域の状態と、フォークリフトの少なくとも１つの部材及び人物の検出結果とを含む、ステップと、
前記オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定するステップと、を含む、方法。
【請求項１０】
前記オブジェクト検出モデルは、カスケード接続された第１のモデル及び第２のモデルを含み、
前記第１のモデルは、前記ビデオの画像に基づいて第１の検出結果を出力し、前記第１の検出結果は、フォークリフトの少なくとも１つの部材及び人物の検出結果を含み、
前記第２のモデルは、前記第１の検出結果に基づいて第２の検出結果を出力し、前記第２の検出結果は、フォークリフト積載領域の状態を含む、請求項９に記載の方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、情報技術の分野に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
産業化と倉庫技術の急速な発展に伴い、フォークリフトは専門家が操作する搬送ツールとして広く使用されている。インテリジェントな交通監視システムなどのインテリジェントなビデオ監視は、現実の世界で広く使用されている。現在、インテリジェントなビデオ監視は、フォークリフトの監視にも使用されている。
【０００３】
フォークリフトの積載状態の判断には、現在、輝度法が一般的に採用されている。この方法は、フォーク（ｆｏｒｋ）領域の平均輝度値を計算し、平均輝度値が所定の閾値未満である場合、フォークに荷物が積載されていると判断し、該平均輝度値が所定の閾値よりも大きい場合、フォークに荷物が積載されていないと判断する。
【０００４】
フォークリフトの動作の判断には、現在、オプティカルフロー法が採用されている。この方法は、複数の連続的なフレームからオプティカルフローベクトルに垂直に面する画素を抽出する。そして、これらの画素のオプティカルフローベクトルの中央値を計算する。該値が所定の閾値よりも大きい場合、フォークが操作されていると判断し、該値が所定の閾値よりも小さい場合、フォークが操作されていないと判断する。
【０００５】
なお、上述した背景技術の説明は、本発明の技術案を明確、完全に理解させるための説明であり、当業者を理解させるために記述されているものである。これらの技術案は、単なる本発明の背景技術部分として説明されたものであり、当業者により周知されたものではない。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、フォークリフトの積載状態を判断するための従来の輝度法では、画像の照明環境が一定ではないため、フォークリフトが屋内と屋外を移動する際に、誤判定が発生する場合が多い。フォークリフトの操作を判断するためのオプティカルフロー法では、フォークが操作されていなくても、物体がバックレストの移動範囲内で移動する場合にも誤判定されてしまう。例えば、床に模様があり、フォークリフトが該模様の上を動作する場合、誤判定されてしまう。また、該方法は、操作の種類を分類することができない。
【０００７】
上記の問題の少なくとも１つを解決するために、本発明の実施例は、オブジェクト検出モデルにより、フォークリフト積載領域の状態と、フォークリフトの少なくとも１つの部材及び人物の検出結果とを含むオブジェクト検出結果を取得することができると共に、該オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定することができる、フォークリフト状態の検出装置及び方法を提供する。該方法は、フォークリフトの使用環境の影響や制限を受けることがなく、フォークリフトの積載状態及び動作状態の検知結果を正確に取得することができる。
【課題を解決するための手段】
【０００８】
本発明の実施例の第１の態様では、フォークリフト状態の検出装置であって、フォークリフトの頂部に設置されたカメラ装置により下方へ撮影されたビデオを取得する取得部と、前記ビデオの画像をオブジェクト検出モデルに入力し、オブジェクト検出結果を出力する検出部であって、前記オブジェクト検出結果は、フォークリフト積載領域の状態と、フォークリフトの少なくとも１つの部材及び人物の検出結果とを含む、検出部と、前記オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定する第１の決定部と、を含む、装置を提供する。
【０００９】
本発明の実施例の第２の態様では、本発明の実施例の第１の態様に記載の装置を含む電子機器を提供する。
【００１０】
本発明の実施例の第３の態様では、フォークリフト状態の検出方法であって、フォークリフトの頂部に設置されたカメラ装置により下方へ撮影されたビデオを取得するステップと、前記ビデオの画像をオブジェクト検出モデルに入力し、オブジェクト検出結果を出力するステップであって、前記オブジェクト検出結果は、フォークリフト積載領域の状態と、フォークリフトの少なくとも１つの部材及び人物の検出結果とを含む、ステップと、前記オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定するステップと、を含む、方法を提供する。
（【００１１】以降は省略されています）

関連特許