特許ウォッチ

公開番号2025069737
公報種別公開特許公報(A)
公開日2025-05-01
出願番号2023179646
出願日2023-10-18
発明の名称食材管理システム
出願人関西電力株式会社
代理人弁理士法人深見特許事務所
主分類F25D 23/00 20060101AFI20250423BHJP(冷凍または冷却;加熱と冷凍との組み合わせシステム;ヒートポンプシステム;氷の製造または貯蔵;気体の液化または固体化)
要約【課題】冷蔵庫の野菜室の上面からの撮影画像に基づき、上段および下段が区分された野菜室内に格納された食材を管理する。
【解決手段】扉11が開放された期間において、冷蔵庫5の上部に設けられたカメラ21によって、仕切りトレー12によって上段15および下段16が区分された野菜室10の画像が撮影される。カメラ21による撮影画像を画像処理することによって、仕切りトレー12の開度値と、当該画像内の画像内に予め定められた複数品目の野菜の有無情報とが取得されると、開度値に基づいて当該画像が、上段15および下段16のそれぞれの撮影画像であるかが判定される。上段15および下段16のそれぞれの在庫データは、上段15または下段16の判定結果と、各品目の野菜の有無情報とを用いて更新され、有無情報が更新されたときの画像の撮影日に基づいて、各品目の野菜の購入日が記憶される。
【選択図】図3
特許請求の範囲【請求項１】
冷蔵庫の上部に設けられて、上段および下段を区画するスライド式の仕切りトレーを有する野菜室の扉が開放されたときに当該野菜室を視野内に含むように配置された撮像部と、
前記撮像部によって撮影された開放状態での前記野菜室での画像を画像処理することによって、当該画像内に予め定められた複数品目の野菜のそれぞれが認識されるか否かの有無情報と、前記仕切りトレーの位置を示す開度値とを取得する画像処理部と、
前記画像処理部で得られた前記開度値に基づいて各前記画像が前記上段および前記下段のいずれの画像であるかを判定する画像判定部と、
前記画像判定部の判定結果と各前記画像内での前記有無情報とに基づいて、前記上段および前記下段のそれぞれについて、前記複数品目の各々の野菜の有無データを含む在庫データを更新する更新処理部とを備え、
前記更新処理部は、第１の画像での前記有無情報に基づいて、前記複数品目のうちの第１の品目の野菜の前記有無データが無から有に変わったときに、前記第１の画像の撮影日を当該第１の品目の野菜の購入日のデータとして前記在庫データに記録する、食材管理システム。
続きを表示（約 2,100 文字）【請求項２】
ユーザ要求に応じて、当該ユーザ要求が生成された時点での前記在庫データに基づいて、前記複数品目のうちの前記野菜が有と認識されている各品目を当該品目の野菜の前記購入日と対応付けて表示するための表示画面データを生成する表示処理部をさらに備える、請求項１記載の食材管理システム。
【請求項３】
前記表示処理部は、前記購入日から、前記複数品目にそれぞれ対応して予め定められた期限日数が経過した日付を期限日として、前記購入日とともにさらに表示するように前記表示画面データを生成する、請求項２記載の食材管理システム。
【請求項４】
前記画像判定部は、前記開度値が第１閾値より大きい画像は前記上段を撮影した画像と判定する一方で、前記開度値が前記第１閾値より小さく設定された第２閾値よりも小さい画像は前記下段を撮影した画像と判定し、
前記更新処理部は、前記画像判定部によって前記上段を撮影したと判定された画像を用いて前記上段の前記在庫データを更新する一方で、前記画像判定部によって前記下段を撮影したと判定された画像を用いて前記下段の前記在庫データを更新し、かつ、前記開度値が前記第２閾値以上かつ前記第１閾値以下の画像の前記有無情報は前記在庫データの更新には使用しない、請求項１～３のいずれか１項に記載の食材管理システム。
【請求項５】
前記仕切りトレーの開度値は、前記仕切りトレーの全開状態および全閉状態で撮影された基準画像を用いて前記画像処理部が取得した前記全開状態及び前記全閉状態の前記開度値に対する割合で示される、請求項４記載の食材管理システム。
【請求項６】
前記撮像部は、
前記画像を撮影するためのカメラと、
前記カメラを制御するコントローラとを含み、
前記コントローラは、前記野菜室の前記扉の開が検知されると一定間隔での前記画像の撮影を開始するとともに、前記野菜室の閉が検知されると前記撮影を終了するように前記カメラを制御し、
前記画像処理部は、前記野菜室の前記扉が一度開放されてから閉じられるまでに前記カメラによって順次撮影された複数の画像のうち、最後の所定枚数の画像を前記画像処理の対象として前記有無情報および前記開度値を取得する、請求項１～３のいずれかに記載の食材管理システム。
【請求項７】
前記撮像部は、
前記画像を撮影するためのカメラと、
測定波を反射した物体までの距離を測定する比較する測距センサと、
前記測距センサによる測定値を用いて前記カメラを制御するコントローラとを含み、
前記測距センサは、前記冷蔵庫の前面側の測定可能領域を区分した複数のメッシュ領域ごとに前記距離を測定するように構成され、
前記コントローラは、前記複数のメッシュ領域のうちの、前記野菜室の扉が開放状態のときに前記測定波を受けることが想定される予め定められた１以上の所定領域における前記測距センサの測定値に基づいて、前記扉が開状態および閉状態のいずれであるかを検知する、請求項６記載の食材管理システム。
【請求項８】
上段および下段を区画するスライド式の仕切りトレーを有する野菜室の扉が開放されたときに冷蔵庫の上部側から撮影された前記野菜室の画像を画像処理することによって、当該画像内に予め定められた複数品目の野菜のそれぞれが認識されるか否かの有無情報と、前記仕切りトレーの位置を示す開度値とを取得するステップと、
前記取得するステップで得られた前記開度値に基づいて各前記画像が前記上段および前記下段のいずれの画像であるかを判定するステップと、
前記判定するステップでの判定結果と各前記画像内での前記有無情報とに基づいて、前記上段および前記下段のそれぞれについて、前記複数品目の各々の野菜の有無データを含む在庫データを更新するステップとを備え、
前記更新するステップにおいて、前記野菜室の第１の画像での前記有無情報に基づいて、前記複数品目のうちの第１の品目の野菜の前記有無データが無から有に変わったときに、前記第１の画像の撮影日は当該第１の品目の野菜の購入日のデータとして前記在庫データに記録される、食材管理方法。
【請求項９】
ユーザ要求に応じて、当該ユーザ要求が生成された時点での前記在庫データに基づいて、前記複数品目のうちの前記野菜が有と認識されている各品目を当該品目の野菜の前記購入日と対応付けて表示するための表示画面データを生成するステップをさらに備える、請求項８記載の食材管理方法。
【請求項１０】
前記生成するステップは、前記購入日から、前記複数品目にそれぞれ対応して予め定められた期限日数が経過した日付を期限日として、前記購入日とともにさらに表示するように前記表示画面データを生成する、請求項９記載の食材管理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、食材管理システム、食材管理方法、および、プログラムに関し、より特定的には、冷蔵庫の野菜室内に格納された食材（野菜）を対象とする、食材管理システム、食材管理方法、および、プログラムに関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
ユーザが保有する食材の在庫量、特に、冷蔵庫に貯蔵された食材を対象とする食材管理システムが特開２０２１－１２８５５７号公報（特許文献１）に記載されている。特許文献１では、食材の各種データをサーバシステムに格納して、格納されたデータに基づいて、保有数量が減少した食材について、購入を促す情報を端末機器に表示することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－１２８５５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１は、食材のデータの入力について複数の態様を想定しており、ユーザによる手入力の他、冷蔵庫に内蔵されたカメラまたは端末機器のカメラで撮影された画像を、食材認識用に機械学習された学習済みモデルに入力することについて言及している。しかしながら、特許文献１は、カメラで撮影された画像に基づいて、学習済みモデルによる画像認識で得られたデータの具体的な処理内容については、特に開示していない。
【０００５】
また、冷蔵庫の野菜室では、上段を構成するスライド式の仕切りトレーを設けて、上段と下段とを区画する構造が用いられることが多い。このような構造の野菜室を撮影した画像を用いて、野菜室内の野菜を管理対象とするケースを想定すると、上段および下段を区別した食材（野菜）の認識が必要となる一方で、画像の撮影に関して、上段および下段を特定した撮像を要求する等の特別な対応をユーザに求めることは、利便性の観点から躊躇われる。
【０００６】
本開示は、上記のような問題点に鑑みてなされたものであり、その目的は、冷蔵庫の野菜室の上面からの撮影画像に基づき、上段および下段が区分された野菜室内に格納された食材を管理する技術を提供することである。
【課題を解決するための手段】
【０００７】
本開示のある局面に食材管理システムは、撮像部と、画像処理部と、画像判定部と、更新処理部とを備える。撮像部は、冷蔵庫の上部に設けられて、上段および下段を区画するスライド式の仕切りトレーを有する野菜室の扉が開放されたときに当該野菜室を視野内に含むように配置される。画像処理部は、撮像部によって撮影された開放状態での野菜室での画像を画像処理することによって、当該画像内に予め定められた複数品目の野菜のそれぞれが認識されるか否かの有無情報と、仕切りトレーの位置を示す開度値とを取得する。
【０００８】
画像判定部は、画像処理部で得られた開度値に基づいて各画像が上段および下段のいずれの画像であるかを判定する。更新処理部は、画像判定部の判定結果と各画像内での有無情報とに基づいて、上段および下段のそれぞれについて、複数品目の各々の野菜の有無データを含む在庫データを更新する。さらに、更新処理部は、第１の画像での有無情報に基づいて、複数品目のうちの第１の品目の野菜の有無データが無から有に変わったときに、第１の画像の撮影日を当該第１の品目の野菜の購入日のデータとして在庫データに記録する。
【０００９】
本発明の他の局面に従う食材管理方法は、第１～第３のステップを備える。第１のステップは、上段および下段を区画するスライド式の仕切りトレーを有する野菜室の扉が開放されたときに冷蔵庫の上部側から撮影された野菜室の画像を画像処理することによって、当該画像内に予め定められた複数品目の野菜のそれぞれが認識されるか否かの有無情報と、仕切りトレーの位置を示す開度値とを取得するステップである。第２のステップは、第１のステップで得られた開度値に基づいて各画像が上段および下段のいずれの画像であるかを判定するステップである。第３のステップは、第２のステップでの判定結果と各画像内での有無情報とに基づいて、上段および下段のそれぞれについて、複数品目の各々の野菜の有無データを含む在庫データを更新するステップである。さらに、第３のステップでは、野菜室の第１の画像での有無情報に基づいて、複数品目のうちの第１の品目の野菜の有無データが無から有に変わったときに、第１の画像の撮影日は当該第１の品目の野菜の購入日のデータとして在庫データに記録される。
【００１０】
本開示のさらに他の局面に従うプログラムは、上記の第１～第５のステップを、コンピュータのプロセッサに実行させる。
【発明の効果】
（【００１１】以降は省略されています）

関連特許