特許ウォッチ

公開番号2024167099
公報種別公開特許公報(A)
公開日2024-11-29
出願番号2024093812,2023083471
出願日2024-06-10,2023-05-19
発明の名称情報処理システム
出願人株式会社マーケットヴィジョン
代理人個人
主分類G06Q 30/06 20230101AFI20241122BHJP(計算;計数)
要約【課題】
陳列棚に陳列した商品の同定/価格札の読取処理の際に、処理対象とする陳列棚の領域を検出する情報処理システムを提供することを目的とする。
【解決手段】
陳列棚を撮影する画像情報に対する情報処理システムであって、前記情報処理システムは、処理対象とする陳列棚が写る画像情報の入力を受け付ける画像情報受付処理部と、前記入力を受け付けた処理対象とする陳列棚が写る画像情報に対して、正対した位置となるように変形する正置化処理を実行する正置化処理部と、を有しており、前記正置化処理部は、前記陳列棚を撮影した情報処理端末のセンサ装置で検出したセンサ情報を用いて、3次元空間上での前記情報処理端末と対象面との位置関係を推定し、前記正置化処理を行う、情報処理システムである。
【選択図】図1
特許請求の範囲【請求項１】
陳列棚を撮影する画像情報に対する情報処理システムであって、
前記情報処理システムは、
処理対象とする陳列棚が写る画像情報の入力を受け付ける画像情報受付処理部と、
前記入力を受け付けた処理対象とする陳列棚が写る画像情報に対して、正対した位置となるように変形する正置化処理を実行する正置化処理部と、
を有しており、
前記正置化処理部は、
前記陳列棚を撮影した情報処理端末のセンサ装置で検出したセンサ情報を用いて、３次元空間上での前記情報処理端末と対象面との位置関係を推定し、前記正置化処理を行う、
ことを特徴とする情報処理システム。
続きを表示（約 1,800 文字）【請求項２】
陳列棚を撮影する画像情報に対する情報処理システムであって、
前記情報処理システムは、
処理対象とする陳列棚が写る画像情報の入力を受け付ける画像情報受付処理部と、
前記入力を受け付けた処理対象とする陳列棚が写る画像情報に対して、正対した位置となるように変形する正置化処理を実行する正置化処理部と、を有しており、
前記正置化処理部は、
撮影対象物までの距離を測定するセンサ装置から取得した撮影対象物までの距離情報を用いて前記正置化処理を実行する、
ことを特徴とする情報処理システム。
【請求項３】
前記正置化処理部は、
前記撮影対象物までの距離を測定するセンサ装置から取得した撮影対象物までの距離情報を３次元情報に変換し、前記正置化処理を実行する、
ことを特徴とする請求項２に記載の情報処理システム。
【請求項４】
前記正置化処理部は、
前記陳列棚を撮影した撮影装置または前記情報処理端末のピッチ角とロール角の情報の入力を受け付け、
前記距離情報と前記ピッチ角とロール角の情報とを用いて、複数の点を含む点群の回帰直線を算出して、前記撮影装置または情報処理端末のヨー角の情報を推定し、
前記推定したヨー角の情報を用いて、前記画像情報を前記撮影装置に正対する位置となるように変形する、
ことを特徴とする請求項２または請求項３に記載の情報処理システム。
【請求項５】
前記正置化処理部は、
撮影対象物における任意の点までの距離情報を３次元情報に変換し、前記点についてピッチ角とロール角の情報に基づいて回転させ、前記点を含む点群を水平面に投影したときの点群の回帰直線を算出することで、前記ヨー角の情報を推定する、
ことを特徴とする請求項４に記載の情報処理システム。
【請求項６】
前記情報処理システムは、
陳列棚における商品陳列領域および／または価格札領域をアノテーションされたアノテーションデータを用いて生成された機械学習のネットワークを用いて、前記正置化処理をした画像情報に写る陳列棚における商品陳列領域および／または価格札領域を認識する認識処理部、
を有することを特徴とする請求項２または請求項３に記載の情報処理システム。
【請求項７】
前記情報処理システムは、
機械学習のネットワークを生成する学習処理部と、
前記ネットワークを用いて画像情報から所定領域の検出処理を行う検出処理部と、を有しており、
前記学習処理部は、
前記陳列棚における商品陳列領域および／または価格札領域をアノテーションされたアノテーションデータの入力を受け付けるアノテーションデータ受付処理部と、
前記受け付けたアノテーションデータを用いて学習処理を行い、機械学習のネットワークを生成する学習処理部と、
を有することを特徴とする請求項６に記載の情報処理システム。
【請求項８】
コンピュータを、
処理対象とする陳列棚が写る画像情報の入力を受け付ける画像情報受付処理部、
前記入力を受け付けた処理対象とする陳列棚が写る画像情報に対して、正対した位置となるように変形する正置化処理を実行する正置化処理部、として機能させる情報処理プログラムであって、
前記正置化処理部は、
前記陳列棚を撮影した情報処理端末のセンサ装置で検出したセンサ情報を用いて、３次元空間上での前記情報処理端末と対象面との位置関係を推定し、前記正置化処理を行う、
ことを特徴とする情報処理プログラム。
【請求項９】
コンピュータを、
処理対象とする陳列棚が写る画像情報の入力を受け付ける画像情報受付処理部、
前記入力を受け付けた処理対象とする陳列棚が写る画像情報に対して、正対した位置となるように変形する正置化処理を実行する正置化処理部、として機能させる情報処理プログラムであって、
前記正置化処理部は、
撮影対象物までの距離を測定するセンサ装置から取得した撮影対象物までの距離情報を用いて前記正置化処理を実行する、
ことを特徴とする情報処理プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、陳列棚に陳列した商品の同定／価格札の読取処理の際に、処理対象とする陳列棚の領域を検出する情報処理システムに関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
コンビニエンスストア、スーパーなどの各種の店舗では、販売している商品を陳列棚に置いて販売をしていることが一般的である。そのため、陳列棚に商品を複数陳列しておくことで、商品の一つが購入されても、同一の商品をほかの人が購入できるようになっている。また、目立つ位置に多くの個数を並べた商品が注目され、ほかの商品よりも多く売れるという競合上の優位、劣位の関係も生じる。したがって、商品が陳列棚のどこにいくつ陳列されているか、またその商品の価格を管理することは、商品の販売戦略上、重要である。
【０００３】
そこで陳列棚をカメラなどの撮影装置で撮影し、その画像情報に写っている対象物を自動認識することで、商品の陳列位置と個数、陳列されている商品や価格札（プライスカード）に記載されている価格を把握することが行われている。そこで、下記特許文献１、特許文献２に開示される技術がある。
【先行技術文献】
【特許文献】
【０００４】
特開平５－３３４４０９号公報
特開平５－３４２２３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
多くの店舗では、陳列棚単位で商品種別を揃えて商品の陳列を行っている。そのため、陳列棚に陳列している商品の同定処理を行う、価格札の読取処理を行う場合には、陳列棚単位で行うことが合理的である。
【０００６】
撮影装置で陳列棚に陳列されている商品を撮影する場合には、一つの陳列棚の左右端が画角内に収まるように撮影を行うが、画角にぴったりに納めようとすると、撮影装置で陳列棚を撮影するときの撮影アングルの調整に時間がかかってしまう。そのため、実際には、画角の左右に余裕を持たせて撮影をすることが一般的である。
【０００７】
画角の左右に余裕を持たせて撮影をすることから、撮影した画像情報には、本来、撮影対象とする陳列棚のほか、その陳列棚の左隣および／または右隣に位置する別の陳列棚およびそこに陳列されている商品も写り込んでしまう。そのため、陳列棚単位で陳列している商品の同定処理、価格札の読取処理を行おうとする場合、本来の処理対象とする陳列棚以外の左右両隣の陳列棚およびそこに陳列されている商品は、処理対象から除外することが求められる。
【０００８】
しかし、上述の各特許文献を始めとして、従来技術では左右両隣の陳列棚およびそこに陳列されている商品を処理対象から除外することは、精度よく行うことはできなかった。場合によっては、撮影した画像から人間が手動で処理対象とする領域を設定する場合もあった。
【課題を解決するための手段】
【０００９】
本発明者は上記課題を鑑み、陳列棚に陳列した商品の同定／価格札の読取処理の際に、処理対象とする陳列棚の領域を検出する情報処理システムを発明した。
【００１０】
第１の発明は、陳列棚を撮影する画像情報に対する情報処理システムであって、前記情報処理システムは、処理対象とする陳列棚が写る画像情報の入力を受け付ける画像情報受付処理部と、前記入力を受け付けた処理対象とする陳列棚が写る画像情報に対して、正対した位置となるように変形する正置化処理を実行する正置化処理部と、を有しており、前記正置化処理部は、前記陳列棚を撮影した情報処理端末のセンサ装置で検出したセンサ情報を用いて、３次元空間上での前記情報処理端末と対象面との位置関係を推定し、前記正置化処理を行う、情報処理システムである。
（【００１１】以降は省略されています）

関連特許