特許ウォッチ

公開番号2024131102
公報種別公開特許公報(A)
公開日2024-09-30
出願番号2023041157
出願日2023-03-15
発明の名称適否判定システムおよび適否判定プログラム
出願人大阪瓦斯株式会社
代理人弁理士法人R&C
主分類G06T 7/20 20170101AFI20240920BHJP(計算;計数)
要約【課題】簡易な構成で容易に作業の適否を判定することを目的とする。
【解決手段】撮影画像17が入力されると撮影画像17に含まれる基準物の基準物画像を識別するようにあらかじめ生成された学習済みモデル18と、撮影画像17を学習済みモデル18に入力することにより撮影画像17中の基準物画像を識別し、撮影画像17に基準物の基準物識別情報が付与された識別画像19を出力する基準物識別部4と、識別画像19を画像解析することにより、基準物識別情報により識別された基準物の位置の経時変化に伴って基準物の移動と同調して移動する物体を対象物として識別する対象物識別部5と、対象物の経時的な変化状況から対象物の動作を判定する対象物動作判定部6と、対象物の動作、または、基準物および対象物の動作から作業の適否を判定する適否判定部8とを備える。
【選択図】図1
特許請求の範囲【請求項１】
基準物が行う作業の作業状況が経時的に撮影された撮影画像を取得する画像取得部と、
前記撮影画像が入力されると前記撮影画像に含まれる前記基準物の基準物画像を識別するようにあらかじめ生成された学習済みモデルと、
前記撮影画像を前記学習済みモデルに入力することにより前記撮影画像中の前記基準物画像を識別し、前記撮影画像に前記基準物の基準物識別情報が付与された識別画像を出力する基準物識別部と、
前記識別画像を画像解析することにより、前記基準物識別情報により識別された前記基準物の位置の経時変化に伴って前記基準物の移動と同調して移動する物体を対象物として識別する対象物識別部と、
前記対象物の経時的な変化状況から前記対象物の動作を判定する対象物動作判定部と、
前記対象物の動作、または、前記基準物および前記対象物の動作から前記作業の適否を判定する適否判定部とを備える適否判定システム。
続きを表示（約 1,200 文字）【請求項２】
前記作業の適否の判定結果および前記識別画像を出力する表示部を備え、
前記基準物識別部は、前記撮影画像に含まれる物体の画像の候補である候補画像を識別し、前記撮影画像に前記候補画像の物体識別情報を付与して、前記候補画像の中から前記基準物を識別する請求項１に記載の適否判定システム。
【請求項３】
前記対象物識別部は、前記候補画像から前記対象物を識別する請求項２に記載の適否判定システム。
【請求項４】
前記対象物識別部は、前記識別画像中の前記基準物に対して所定の方向に所定の距離だけ離れた所定の大きさの領域を前記対象物が存在する対象物領域として設定し、前記対象物領域に存在する前記候補画像から前記対象物を識別する請求項２に記載の適否判定システム。
【請求項５】
前記作業は、フックを移動させることによる、前記フックに支持された荷物の移動であり、
前記基準物は前記フックであり、
前記対象物は前記荷物である請求項１から４のいずれか一項に記載の適否判定システム。
【請求項６】
前記作業は、作業者が行う荷物の運搬であり、
前記基準物は前記作業者であり、
前記対象物は前記荷物である請求項１から４のいずれか一項に記載の適否判定システム。
【請求項７】
前記基準物として運搬車をさらに含み、
前記作業は、前記作業者が行う前記運搬車への前記荷物の積み込みである請求項６に記載の適否判定システム。
【請求項８】
前記作業者が着用する、ヘルメット、衣服、靴、および手袋の少なくともいずれかから前記作業者であることを識別するように、前記学習済みモデルをあらかじめ機械学習する学習部を備える請求項６に記載の適否判定システム。
【請求項９】
基準物が行う作業の作業状況が経時的に撮影された撮影画像を取得する画像取得機能と、
前記撮影画像が入力されると前記撮影画像に含まれる前記基準物の基準物画像を識別するようにあらかじめ生成された学習済みモデルに前記撮影画像を入力することにより前記撮影画像中の前記基準物画像を識別し、前記撮影画像に前記基準物の基準物識別情報が付与された識別画像を出力する基準物識別機能と、
前記識別画像を画像解析することにより、前記基準物識別情報により識別された前記基準物の位置の経時変化に伴って前記基準物の移動と同調して移動する物体を対象物として識別する対象物識別機能と、
前記対象物の経時的な変化状況から前記対象物の動作を判定する対象物動作判定機能と、
前記対象物の動作、または、前記基準物および前記対象物の動作から前記作業の適否を判定する適否判定機能とをコンピュータに実行させる適否判定プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、作業が適切に行われているか否かを判定する適否判定システムおよび適否判定プログラムに関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
適切に作業が行われているか否かを判定しながら作業が行われる場合がある。作業の状況の確認は種々の方法で行われるが、例えば、特許文献１に記載の発明は、クレーンに吊下対象物（荷物）を吊り下げて作業を行う場合に、平衡センサにより吊下対象物の重心位置の傾きを検知する。
【先行技術文献】
【特許文献】
【０００３】
特開２００９－１２０３８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、種々の方法で作業の状況を確認したとしても、その状況から作業の適否を判断することは容易ではない。
【０００５】
本発明は、簡易な構成で容易に作業の適否を判定することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の一実施形態に係る適否判定システムの特徴構成は、基準物が行う作業の作業状況が経時的に撮影された撮影画像を取得する画像取得部と、前記撮影画像が入力されると前記撮影画像に含まれる前記基準物の基準物画像を識別するようにあらかじめ生成された学習済みモデルと、前記撮影画像を前記学習済みモデルに入力することにより前記撮影画像中の前記基準物画像を識別し、前記撮影画像に前記基準物の基準物識別情報が付与された識別画像を出力する基準物識別部と、前記識別画像を画像解析することにより、前記基準物識別情報により識別された前記基準物の位置の経時変化に伴って前記基準物の移動と同調して移動する物体を対象物として識別する対象物識別部と、前記対象物の経時的な変化状況から前記対象物の動作を判定する対象物動作判定部と、前記対象物の動作、または、前記基準物および前記対象物の動作から前記作業の適否を判定する適否判定部とを備える点にある。
【０００７】
また、本発明の一実施形態に係る適否判定プログラムの特徴構成は基準物が行う作業の作業状況が経時的に撮影された撮影画像を取得する画像取得機能と、前記撮影画像が入力されると前記撮影画像に含まれる前記基準物の基準物画像を識別するようにあらかじめ生成された学習済みモデルに前記撮影画像を入力することにより前記撮影画像中の前記基準物画像を識別し、前記撮影画像に前記基準物の基準物識別情報が付与された識別画像を出力する基準物識別機能と、前記識別画像を画像解析することにより、前記基準物識別情報により識別された前記基準物の位置の経時変化に伴って前記基準物の移動と同調して移動する物体を対象物として識別する対象物識別機能と、前記対象物の経時的な変化状況から前記対象物の動作を判定する対象物動作判定機能と、前記対象物の動作、または、前記基準物および前記対象物の動作から前記作業の適否を判定する適否判定機能とをコンピュータに実行させる点にある。
【０００８】
以上のような構成により、基準物識別部は、基準物の画像を識別するように学習された学習済みモデルに撮影画像を入力することにより、撮影画像中の基準物の画像を識別する。対象物識別部は、経時的に撮影された撮影画像に対応する識別画像における基準物の移動を画像解析し、基準物の移動に伴って基準物の移動と同調して移動する物体を対象物として識別する。ここで、同調して移動するとは、基準物が移動したのと略同じ方向に同程度の距離（例えば、基準物が移動した距離に対して８０％以上１２０％以下の距離）だけ移動することとする。対象物動作判定部は識別された対象物の面積や形状等を画像解析して対象物の動作を判定し、適否判定部は対象物の動作から対象物に対する作業が適切に行われているか否かを判定する。以上の構成によって、学習済みモデルを用いて撮影画像から基準物を容易に識別し、画像解析により基準物の移動と同調して移動する物体を対象物として容易に識別することができる。そして、識別された対象物の経時変化から対象物の動作を判定し、作業の適否を判定することができる。その結果、基準物の識別と、対象物の動作確認、または、基準物および対象物の動作確認とを個別に行うことにより、簡易な構成で容易に作業の適否を判定することができる。
【０００９】
つまり、画像解析では識別が困難な基準物を、撮影画像から基準物を識別できるようにＡＩ（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ）を用いて機械学習された学習済みモデルを用いることにより容易に識別することができる。また、基準物の移動に伴って基準物の移動と同調して移動する物体を対象物として画像解析により容易に識別することができ、識別された対象物の動作を画像解析により容易に解析することができる。
【００１０】
特に、識別・解析の困難性に応じて、学習済みモデル（ＡＩ）を用いた識別と画像解析を用いた識別・解析に分けて作業の適否の判定を行うため、学習済みモデル（ＡＩ）または画像解析のみを用いて作業の適否の判定を行う構成に比べて、容易かつ簡易な構成で作業の適否の判定を行うことができる。
（【００１１】以降は省略されています）

関連特許