特許ウォッチ

公開番号2024166990
公報種別公開特許公報(A)
公開日2024-11-29
出願番号2023083471
出願日2023-05-19
発明の名称情報処理システム
出願人株式会社マーケットヴィジョン
代理人個人
主分類G06T 7/00 20170101AFI20241122BHJP(計算;計数)
要約【課題】
陳列棚に陳列した商品の同定/価格札の読取処理の際に、処理対象とする陳列棚の領域を検出する情報処理システムを提供することを目的とする。
【解決手段】
機械学習のネットワークを生成する学習処理部と、ネットワークを用いて画像情報から所定領域の検出処理を行う検出処理部と、を有しており、学習処理部は、陳列棚における商品陳列領域および/または価格札領域をアノテーションされたアノテーションデータの入力を受け付けるアノテーションデータ受付処理部と、受け付けたアノテーションデータを用いて学習処理を行い、機械学習のネットワークを生成する学習処理部と、を有し、検出処理部は、処理対象とする陳列棚が写る画像情報の入力を受け付ける画像情報受付処理部と、生成したネットワークを用いてその画像情報に写る陳列棚における商品陳列領域および/または価格札領域を認識する認識処理部と、を有する、情報処理システムである。
【選択図】図1
特許請求の範囲【請求項１】
陳列棚を撮影する画像情報に対する情報処理システムであって、
前記情報処理システムは、
機械学習のネットワークを生成する学習処理部と、
前記ネットワークを用いて画像情報から所定領域の検出処理を行う検出処理部と、を有しており、
前記学習処理部は、
前記陳列棚における商品陳列領域および／または価格札領域をアノテーションされたアノテーションデータの入力を受け付けるアノテーションデータ受付処理部と、
前記受け付けたアノテーションデータを用いて学習処理を行い、機械学習のネットワークを生成する学習処理部と、を有し、
前記検出処理部は、
処理対象とする陳列棚が写る画像情報の入力を受け付ける画像情報受付処理部と、
前記生成したネットワークを用いてその画像情報に写る陳列棚における商品陳列領域および／または価格札領域を認識する認識処理部と、を有する、
ことを特徴とする情報処理システム。
続きを表示（約 1,900 文字）【請求項２】
前記検出処理部は、
前記認識した商品陳列領域および／または価格札領域に対して、その端部の位置がずれている場合に、その位置を補正する補正処理を実行する補正処理部、を有する、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記補正処理部は、
前記検出した商品陳列領域および／または価格札領域の端部の異常値を検出し、その異常値がある領域を、正常に認識した端部の位置に変更する、
ことを特徴とする請求項２に記載の情報処理システム。
【請求項４】
前記補正処理部は、
前記検出した商品陳列領域および／または価格札領域の端部の位置を判定し、
その位置の平均値または中央値から、所定の大きさまたは所定の比率以上ずれている端部を異常値として判定する、
ことを特徴とする請求項３に記載の情報処理システム。
【請求項５】
前記補正処理部は、
前記陳列棚の端部付近にあるオブジェクトを検出し、
前記検出した商品陳列領域および／または価格札領域の端部を、前記検出したオブジェクトの位置とする、
ことを特徴とする請求項２に記載の情報処理システム。
【請求項６】
前記検出処理部は、
前記入力を受け付けた処理対象とする陳列棚が写る画像情報に対して、正対した位置となるように変形する正置化処理を実行する正置化処理部、を有しており、
前記認識処理部は、
前記正置化処理を実行した後の画像情報を入力画像情報として、前記生成したネットワークを用いて処理対象とする領域を認識する、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項７】
前記正置化処理部は、
前記陳列棚を撮影した撮影装置または情報処理端末のピッチ角とロール角の情報と、撮影対象物までの距離を計測した距離情報の入力を受け付けるセンサ情報入力受付処理部と、
前記画像情報に対して画像変形処理を行う画像変形処理部と、を有しており、
前記画像変形処理部は、
前記距離情報と前記ピッチ角とロール角の情報とを用いて、複数の前記点を含む点群の回帰直線を算出して、前記撮影装置または情報処理端末のヨー角の情報を推定し、
前記推定したヨー角の情報を用いて、前記画像情報を前記撮影装置に正対する位置となるように変形する、
ことを特徴とする請求項６に記載の情報処理システム。
【請求項８】
前記画像変形処理部は、
撮影対象物における任意の点までの距離情報を３次元情報に変換し、前記点についてピッチ角とロール角の情報に基づいて回転させ、前記点を含む点群を水平面に投影したときの点群の回帰直線を算出することで、前記ヨー角の情報を推定する、
ことを特徴とする請求項７に記載の情報処理システム。
【請求項９】
陳列棚を撮影する画像情報に対する情報処理システムであって、
前記情報処理システムは、
処理対象とする陳列棚が写る画像情報の入力を受け付ける画像情報受付処理部と、
陳列棚における商品陳列領域および／または価格札領域をアノテーションされたアノテーションデータを用いて生成された機械学習のネットワークを用いて、その画像情報に写る陳列棚における商品陳列領域および／または価格札領域を認識する認識処理部と、
を有することを特徴とする情報処理システム。
【請求項１０】
コンピュータを、
機械学習のネットワークを生成する学習処理部、
前記ネットワークを用いて画像情報から所定領域の検出処理を行う検出処理部、として機能させることを特徴とする情報処理プログラムであって、
前記学習処理部は、前記コンピュータを、
陳列棚における商品陳列領域および／または価格札領域をアノテーションされたアノテーションデータの入力を受け付けるアノテーションデータ受付処理部、
前記受け付けたアノテーションデータを用いて学習処理を行い、機械学習のネットワークを生成する学習処理部、として機能させ、
前記検出処理部は、前記コンピュータを、
処理対象とする陳列棚が写る画像情報の入力を受け付ける画像情報受付処理部、
前記生成したネットワークを用いてその画像情報に写る陳列棚における商品陳列領域および／または価格札領域を認識する認識処理部、として機能させる、
ことを特徴とする情報処理プログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、陳列棚に陳列した商品の同定／価格札の読取処理の際に、処理対象とする陳列棚の領域を検出する情報処理システムに関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
コンビニエンスストア、スーパーなどの各種の店舗では、販売している商品を陳列棚に置いて販売をしていることが一般的である。そのため、陳列棚に商品を複数陳列しておくことで、商品の一つが購入されても、同一の商品をほかの人が購入できるようになっている。また、目立つ位置に多くの個数を並べた商品が注目され、ほかの商品よりも多く売れるという競合上の優位、劣位の関係も生じる。したがって、商品が陳列棚のどこにいくつ陳列されているか、またその商品の価格を管理することは、商品の販売戦略上、重要である。
【０００３】
そこで陳列棚をカメラなどの撮影装置で撮影し、その画像情報に写っている対象物を自動認識することで、商品の陳列位置と個数、陳列されている商品や価格札（プライスカード）に記載されている価格を把握することが行われている。そこで、下記特許文献１、特許文献２に開示される技術がある。
【先行技術文献】
【特許文献】
【０００４】
特開平５－３３４４０９号公報
特開平５－３４２２３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
多くの店舗では、陳列棚単位で商品種別を揃えて商品の陳列を行っている。そのため、陳列棚に陳列している商品の同定処理を行う、価格札の読取処理を行う場合には、陳列棚単位で行うことが合理的である。
【０００６】
撮影装置で陳列棚に陳列されている商品を撮影する場合には、一つの陳列棚の左右端が画角内に収まるように撮影を行うが、画角にぴったりに納めようとすると、撮影装置で陳列棚を撮影するときの撮影アングルの調整に時間がかかってしまう。そのため、実際には、画角の左右に余裕を持たせて撮影をすることが一般的である。
【０００７】
画角の左右に余裕を持たせて撮影をすることから、撮影した画像情報には、本来、撮影対象とする陳列棚のほか、その陳列棚の左隣および／または右隣に位置する別の陳列棚およびそこに陳列されている商品も写り込んでしまう。そのため、陳列棚単位で陳列している商品の同定処理、価格札の読取処理を行おうとする場合、本来の処理対象とする陳列棚以外の左右両隣の陳列棚およびそこに陳列されている商品は、処理対象から除外することが求められる。
【０００８】
しかし、上述の各特許文献を始めとして、従来技術では左右両隣の陳列棚およびそこに陳列されている商品を処理対象から除外することは、精度よく行うことはできなかった。場合によっては、撮影した画像から人間が手動で処理対象とする領域を設定する場合もあった。
【課題を解決するための手段】
【０００９】
本発明者は上記課題を鑑み、陳列棚に陳列した商品の同定／価格札の読取処理の際に、処理対象とする陳列棚の領域を検出する情報処理システムを発明した。
【００１０】
第１の発明は、陳列棚を撮影する画像情報に対する情報処理システムであって、前記情報処理システムは、機械学習のネットワークを生成する学習処理部と、前記ネットワークを用いて画像情報から所定領域の検出処理を行う検出処理部と、を有しており、前記学習処理部は、前記陳列棚における商品陳列領域および／または価格札領域をアノテーションされたアノテーションデータの入力を受け付けるアノテーションデータ受付処理部と、前記受け付けたアノテーションデータを用いて学習処理を行い、機械学習のネットワークを生成する学習処理部と、を有し、前記検出処理部は、処理対象とする陳列棚が写る画像情報の入力を受け付ける画像情報受付処理部と、前記生成したネットワークを用いてその画像情報に写る陳列棚における商品陳列領域および／または価格札領域を認識する認識処理部と、を有する、情報処理システムである。
（【００１１】以降は省略されています）

関連特許