特許ウォッチ

公開番号2023071596
公報種別公開特許公報(A)
公開日2023-05-23
出願番号2022156617
出願日2022-09-29
発明の名称画像処理装置、画像処理方法及び記憶媒体
出願人富士通株式会社
代理人個人,個人,個人
主分類G06V 40/20 20220101AFI20230516BHJP(計算;計数)
要約【課題】本発明は、画像処理装置、画像処理方法及びマシン可読記憶媒体を提供する。
【解決手段】画像処理装置は、画像中の手に関する第一情報に基づいて、手の動作が所定動作であるかを識別する識別ユニット;識別された手の動作が前記所定動作である場合、前記所定動作に関する、人と物との相互作用の候補領域が存在する可能性があると確定する確定ユニットであって、前記候補領域は前記候補領域に物が存在するかを判断するために用いられる、確定ユニット;及び、前記候補領域に物が存在するかを判定する判定ユニットを含む。
【選択図】図1
特許請求の範囲【請求項１】
画像処理装置であって、
画像中の手に関する第一情報に基づいて、手の動作が所定動作であるかを識別する識別ユニット；
識別された手の動作が前記所定動作である場合、前記所定動作に関する、人と物との相互作用の候補領域が存在する可能性があると確定する確定ユニットであって、前記候補領域は前記候補領域に物が存在するかを判断するために用いられる、確定ユニット；及び
前記候補領域に物が存在するかを判定する判定ユニットを含む、画像処理装置。
続きを表示（約 1,200 文字）【請求項２】
請求項１に記載の画像処理装置であって、
前記候補領域に物が存在すると判定された場合、前記判定ユニットは前記の人と物との相互作用が存在すると判定し、
前記候補領域に物が存在しないと判定された場合、前記判定ユニットは前記の人と物との相互作用が存在しないと判定する、画像処理装置。
【請求項３】
請求項１又は２に記載の画像処理装置であって、
前記画像に１つのみの手が含まれる場合、前記候補領域は前記１つのみの手の近傍の領域を含み、
前記画像に２つの手が含まれる場合、前記候補領域は各々の手の近傍の領域及び両手の間の領域を含む、画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記識別ユニットが手の動作を識別するときに、前記識別ユニットはさらに、手の平の方向を指示する手の形状分析情報を取得し、
前記確定ユニットは前記手の形状分析情報に基づいて手の平側の候補領域のみを残す、画像処理装置。
【請求項５】
請求項１又は２に記載の画像処理装置であって、
前記画像中の手に対して検出又は分割を行うことで前記第一情報を得る情報取得ユニットをさらに含む、画像処理装置。
【請求項６】
請求項５に記載の画像処理装置であって、
前記情報取得ユニットは深層学習の方法により前記画像中の手の領域を検出することで手の境界枠を取得し、前記第一情報は手の境界枠を含む、画像処理装置。
【請求項７】
請求項５に記載の画像処理装置であって、
前記情報取得ユニットが前記画像中の手に対して分割を行うことは、
深層学習の方法により直接、前記画像中の手の領域に対して分割を行い；又は
深層学習の方法により前記画像中の手の領域を検出することで手の境界枠を取得し、前記境界枠内で各画素の値と事前定義の肌色の値との比較を行うことで分割後の手の領域を得ることを含み、
前記第一情報は分割後の手の領域を含む、画像処理装置。
【請求項８】
請求項１又は２に記載の画像処理装置であって、
前記所定動作は「手に物を取る」という動作であり、前記の人と物との相互作用は人が手に物をもっていることを表す、画像処理装置。
【請求項９】
画像処理方法であって、
画像中の手に関する第一情報に基づいて、手の動作が所定動作であるかを識別し；
識別された手の動作が前記所定動作である場合、前記所定動作に関する、人と物との相互作用の候補領域が存在する可能性があると確定し、前記候補領域は前記候補領域に物が存在するかを判断するために用いられ；及び
前記候補領域に物が存在するかを判定することを含む、画像処理方法
【請求項１０】
コンピュータに、請求項９に記載の画像処理方法を実行させるためのプログラムを記憶している、記憶装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理の技術分野に関し、特に、動作（動き）検出のための画像処理装置、画像処理方法及びマシン可読記憶媒体に関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
モバイル決済などの技術の発展に伴い、益々多くのスーパーマーケットがセルフレジを採用し始めている。顧客のセルフチェックアウト（セルフ決済）によりレジ係の数が減り、スーパーマーケットのコストが削減され得る。また、複数のセルフレジを設置することで、列に並ぶ顧客の待ち時間を減少させ、顧客満足度を向上させることができる。しかし、防犯対策が不十分なため、セルフレジを使用するときに、故意に商品（バーコード）のスキャンをスキップして盗難を犯す顧客もいる。
【０００３】
上述の問題を解決するために、スタッフによる監視を強化するだけでなく、コンピュータビジョン技術を用いてセルフチェックアウトビデオを自動的に分析（解析）することで、顧客が盗んでいるかを判断することもできる。例えば、セルフチェックアウトビデオ分析の場合、１つの簡単な方法として次のようなやり方があり、即ち、ビデオにおける”商品を手に取る”という動作及び”商品（バーコード）をスキャンする”という動作を検出し、各顧客のチェックアウトプロセスでこの２つの動作が出現した回数をカウントし、”商品を手に取る”という動作の回数が”商品（バーコード）をスキャンする”という動作の回数に等しい場合、顧客が選んだすべての商品がチェックアウトされたことを意味し、これは正常なプロセスであり、後続処理を必要とせず、また、”商品を手に取る”という動作の回数が”商品（バーコード）をスキャンする”という動作の回数よりも大きい場合、顧客が選んだ一部の商品がチェックアウトされておらず、盗難の恐れがあることを意味し、これは異常なプロセスであり、警察を呼ぶなどの後続処理を必要とする。
【０００４】
以上のことから、次のことが分かり、即ち、特定の人と物のインタラクティブな動作、特に、”商品を手に取る”及び”商品（バーコード）をスキャンする”という２種類の動作を検出することはセルフチェックアウトビデオ分析の重要なステップである。なお、ここでは、主に”商品を手に取る”という動作に着目する。
【０００５】
セルフチェックアウトビデオにおける”商品を手に取る”という動作の検出について、従来の方法では、まず、ビデオフレーム内で人体及び商品を検出し、その後、検出結果に基づいてそれらの間のインタラクティブな動作を推測する。対象（オブジェクト）検出及び動作識別（認識）は通常、深層学習（ディープラーニング）ベースのモデルを採用し、幾つかの方法では、例えば、”人の近く（近傍）にある商品のみに焦点を当てる”などのような、具体的応用に関する事前知識も導入されている。しかし、このような方法にはまだ幾つかの欠点があり、主に次の２つの側面に反映されており、即ち、１つ目は手の細部が考慮されていないことであり、”商品を手に取る”という動作が手で行われるため、手の情報は特定の人と物のインタラクティブな動作の検出にとって非常に重要であり、２つ目は商品の外観が様々であり、訓練サンプルがすべての種類の商品をカバーできないことであり、このような場合、商品を検出することは非常に困難なタスクである。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、特定の人と物のインタラクティブな動作を検出するための画像処理装置、画像処理方法及びマシン可読記憶媒体を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の１つの側面によれば、画像処理装置が提供され、それは、
画像中の手に関する第一情報に基づいて、手の動作が所定動作であるかを識別する識別ユニット；
識別された手の動作が所定動作である場合、所定動作に関する人と物との相互作用の候補領域が存在する可能性があると確定する確定ユニットであって、候補領域は候補領域に物が存在するかを判断するために用いられる、確定ユニット；及び
候補領域に物が存在するかを判定する判定ユニットを含む。
【０００８】
本発明のもう１つの側面によれば、画像処理方法が提供され、それは、
画像中の手に関する第一情報に基づいて、手の動作が所定動作であるかを識別；
識別された手の動作が所定動作である場合、所定動作に関する人と物との相互作用の候補領域が存在する可能性があると確定し、候補領域は候補領域に物が存在するかを判定するために用いられ；及び
候補領域に物が存在するかを判定することを含む。
【０００９】
本発明のまたもう１つの側面によれば、マシン可読記憶媒体が提供され、その中にはマシン可読命令コードを含むプログラムプロダクトが記憶されおり、ここで、前記命令コードはコンピュータにより読み取られ実行されときに、前記コンピュータに、本発明による画像処理方法を実行させることができる。
【発明の効果】
【００１０】
本発明における画像処理装置、画像処理方法及びマシン可読記憶媒体により、ビデオフレームの画像中の人の手と物のインタラクション（相互作用）を効果的に検出できる。本発明は人の手に関する情報及び”人の手－－動作－－物（商品）”という分析順序を十分に利用することで、人と物のインタラクティブな動作の検出方法を簡略化できるだけでなく、検出の精度及び速度を向上させることもできる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許