特許ウォッチ

公開番号2025070261
公報種別公開特許公報(A)
公開日2025-05-02
出願番号2023180438
出願日2023-10-19
発明の名称把持期間判定プログラム,把持期間判定方法及び情報処理装置
出願人富士通株式会社
代理人弁理士法人真田特許事務所,個人
主分類G06T 7/20 20170101AFI20250424BHJP(計算;計数)
要約【課題】作業者が対象物を把持している期間を高精度に判定できるようにする。
【解決手段】把持期間判定プログラムは、入力された動画データの各フレームに対し、対象物の存在有無を判定する物体認識処理を実行し、前記物体認識処理により前記対象物が存在すると判定されたフレームに対し、前記対象物が把持されているか否かを判定する把持判定処理を実行し、前記把持判定処理により前記対象物が把持されていると判定された第1フレームC2,C4と、前記物体認識処理により前記対象物が存在しないと判定された第2フレームC3とを、前記対象物が把持されている期間11dとして判定する、処理をコンピュータに実行させる。
【選択図】図10
特許請求の範囲【請求項１】
入力された動画データの各フレームに対し、対象物の存在有無を判定する物体認識処理を実行し、
前記物体認識処理により前記対象物が存在すると判定されたフレームに対し、前記対象物が把持されているか否かを判定する把持判定処理を実行し、
前記把持判定処理により前記対象物が把持されていると判定された第１フレームと、前記物体認識処理により前記対象物が存在しないと判定された第２フレームとを、前記対象物が把持されている期間として判定する、
処理をコンピュータに実行させる、把持期間判定プログラム。
続きを表示（約 1,300 文字）【請求項２】
前記判定する処理は、前記第１フレームと前記第２フレームとが時間的に連続する場合に、前記第１フレームと前記第２フレームとを前記期間として判定する、処理を含む、
請求項１に記載の把持期間判定プログラム。
【請求項３】
前記物体認識処理は、
前記動画データの各フレームに対し、前記対象物の存在有無を第１の認識閾値に基づき判定する第１の物体認識処理と、
前記動画データの各フレームに対し、前記対象物の存在有無を前記第１の認識閾値よりも大きい第２の認識閾値に基づき判定する第２の物体認識処理と、を含み、
前記把持判定処理は、
前記第１の物体認識処理により前記対象物が存在すると判定されたフレームに対し、前記対象物が把持されているか否かを判定する第１の把持判定処理、を含み、
前記判定する処理は、
前記第１の把持判定処理により前記対象物が把持されていると判定された前記第１フレームと、前記第２の物体認識処理により前記対象物が存在しないと判定された前記第２フレームとを、前記期間として判定する、処理を含む、
請求項１又は請求項２に記載の把持期間判定プログラム。
【請求項４】
前記対象物を認識可能な所定の認識閾値を用いた前記物体認識処理の処理結果に基づく前記把持判定処理により、前記対象物が把持されていると判定された全てのフレームのうちの、前記対象物の認識スコアの最小値を前記第１の認識閾値に決定する、
処理を前記コンピュータに実行させる、請求項３に記載の把持期間判定プログラム。
【請求項５】
前記第１の把持判定処理により前記対象物が把持されていないと判定された各フレームにおける前記対象物の認識スコアの最大値のうちの、前記把持されていないと判定された全てのフレームにおける最小値を前記第２の認識閾値に決定する、
処理を前記コンピュータに実行させる、請求項３に記載の把持期間判定プログラム。
【請求項６】
入力された動画データの各フレームに対し、対象物の存在有無を判定する物体認識処理を実行し、
前記物体認識処理により前記対象物が存在すると判定されたフレームに対し、前記対象物が把持されているか否かを判定する把持判定処理を実行し、
前記把持判定処理により前記対象物が把持されていると判定された第１フレームと、前記物体認識処理により前記対象物が存在しないと判定された第２フレームとを、前記対象物が把持されている期間として判定する、
処理をコンピュータが実行する、把持期間判定方法。
【請求項７】
入力された動画データの各フレームに対し、対象物の存在有無を判定する物体認識処理を実行し、
前記物体認識処理により前記対象物が存在すると判定されたフレームに対し、前記対象物が把持されているか否かを判定する把持判定処理を実行し、
前記把持判定処理により前記対象物が把持されていると判定された第１フレームと、前記物体認識処理により前記対象物が存在しないと判定された第２フレームとを、前記対象物が把持されている期間として判定する、
制御部を備える、情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、把持期間判定プログラム，把持期間判定方法及び情報処理装置に関する。
続きを表示（約 1,300 文字）【背景技術】
【０００２】
生産現場における作業者の作業実態を正確に把握することで、生産性及び安全性向上の施策に活用する「インダストリアルエンジニアリング」（ＩＥ）と呼ばれる手法が着目されている。
【０００３】
ＩＥの手法の１つとして、「時間研究」が知られている。時間研究は、作業者の作業内容を詳細工程に細分化し、それぞれの詳細工程に費やされる作業時間を計測した結果を用いて、作業効率化、例えば作業時間短縮の施策を立案する手法である。
【０００４】
詳細工程の作業時間計測の手法としては、例えば「ストップウォッチ法」，「ＶＴＲ（VideoTape Recorder）法」等の、作業者による各詳細工程の作業時間を計測する手法が挙げられる。なお、ストップウォッチ法は、作業現場でストップウォッチにより作業時間を計測する手法であり、ＶＴＲ法は、作業者の作業内容を撮影したＶＴＲの分析により作業時間を計測する手法である。
【先行技術文献】
【特許文献】
【０００５】
特開２０１０－２４４４１３号公報
国際公開第２００９／０９６２０８号パンフレット
特開２０２１－０１８４６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した作業時間計測の手法は、いずれも作業時間が人手により計測されるため、人的コストが大きい。複数の詳細工程のうち、少なくとも１つの詳細工程における作業時間の計測を人手を介さずに実現するために、物体認識タスク等のＡＩ（Artificial Intelligence）タスクを実行する訓練済み機械学習モデルを利用することが考えられる。
【０００７】
例えば、情報処理装置は、生産現場における作業者の作業内容を撮影した動画データをフレーム単位に分割して得た各画像に対して、工具の物体認識，作業者の姿勢認識，並びに作業者による工具の把持判定を行なう。そして、情報処理装置は、工具が把持されていると判定された複数の画像を、作業者が工具を把持している期間として推定する。
【０００８】
情報処理装置は、例えば工具の物体認識において、画像を機械学習モデルに入力して、物体の位置を示す物体領域と認識スコアとを取得し、当該認識スコアが認識閾値以上である場合に、当該物体領域に物体（工具）が存在すると判定する。
【０００９】
対象物である工具が作業台に置かれている状態等の、工具の全体が画像に表示されている状態では、物体認識の認識スコアが高くなるため、工具の存在が認識され易い。一方、作業者による作業中等において、作業者の身体又は被作業対象によって工具の一部が画像に表示されない（隠れる，映らない）状態では、物体認識の認識スコアが低下するため、工具の存在が認識され難い。
【００１０】
このように、工具の一部が画像に表示されない場合、実際には作業者が工具を把持しているのにも関わらず、情報処理装置は作業者が工具を把持していないと判定してしまう可能性がある。
（【００１１】以降は省略されています）

関連特許