特許ウォッチ

公開番号2025083034
公報種別公開特許公報(A)
公開日2025-05-30
出願番号2023196685
出願日2023-11-20
発明の名称情報処理システム、プログラム、及び情報処理方法
出願人ソフトバンク株式会社
代理人弁理士法人RYUKA国際特許事務所
主分類G06V 10/82 20220101AFI20250523BHJP(計算;計数)
要約【課題】牛を撮像した撮像画像から、自動的に牛の個体を識別しつつ牛の体重を推定する情報処理システム、プログラム及び情報処理方法を提供する。
【解決手段】方法は、認証対象の牛の顔を含む撮像画像に対する顔認証処理、認証対象の牛40の全身を含む撮像画像に対するシルエット認証処理と、認証対象の牛のタグが付されている箇所を含む撮像画像を解析することによってタグを検出し、タグに記載されているタグ情報を認識するタグ認識処理の少なくともいずれかに基づいて、認証対象の牛の個体を識別するとともに、牛の3D画像を生成し、この3D画像に基づいて推定した牛の身体の寸法より、牛の体重を推定する。
【選択図】図2
特許請求の範囲【請求項１】
認証対象の牛の顔を含む撮像画像に対する顔認証処理、前記認証対象の前記牛の全身を含む撮像画像に対するシルエット認証処理、及び前記認証対象の前記牛のタグが付されている箇所を含む撮像画像を解析することによって前記タグを検出し、前記タグに記載されているタグ情報を認識するタグ認識処理の少なくともいずれかによって、前記認証対象の前記牛の個体を識別する個体識別部
を備える情報処理システム。
続きを表示（約 2,200 文字）【請求項２】
前記個体識別部は、前記顔認証処理、前記シルエット認証処理、及び前記タグ認識処理のうちの複数によって、前記認証対象の前記牛の個体を識別する、請求項１に記載の情報処理システム。
【請求項３】
前記顔認証処理を実行する顔認証実行部と、
前記シルエット認証処理を実行するシルエット認証実行部と、
前記タグ認識処理を実行するタグ認識実行部と
を備え、
前記個体識別部は、前記顔認証実行部からの出力である顔認証出力、前記シルエット認証実行部からの出力であるシルエット認証出力、及び前記タグ認識実行部からの出力であるタグ認識出力に基づいて、前記認証対象の前記牛の個体を識別する
請求項２に記載の情報処理システム。
【請求項４】
前記顔認証実行部からの出力と、前記シルエット認証実行部からの出力と、前記タグ認識実行部からの出力と、正解データとを含む学習データを用いた機械学習によって生成された、前記顔認証実行部からの出力と、前記シルエット認証実行部からの出力と、前記タグ認識実行部からの出力とを入力とし、認証結果を出力とする牛識別ニューラルネットワークを記憶する記憶部
を備え、
前記個体識別部は、前記認証対象の牛に対する前記顔認証出力、前記シルエット認証出力、及び前記タグ認識出力を、前記牛識別ニューラルネットワークに入力することによって、前記認証対象の牛の個体を識別する、請求項３に記載の情報処理システム。
【請求項５】
前記顔認証実行部は、前記認証対象の牛の顔認証結果の複数の候補と、前記複数の候補のそれぞれの尤度とを含む前記顔認証出力を出力し、
前記シルエット認証実行部は、前記認証対象の牛のシルエット認証結果の複数の候補と、前記複数の候補のそれぞれの尤度とを含む前記シルエット認証出力を出力し、
前記タグ認識実行部は、前記認証対象の牛のタグ認識結果の複数の候補と、前記複数の候補のそれぞれの尤度とを含む前記タグ認識出力を出力する、請求項４に記載の情報処理システム。
【請求項６】
前記顔認証実行部は、牛の顔を含む撮像画像を入力とし、前記牛の顔認証結果を出力とする牛用顔認証ニューラルネットワークを用いた前記顔認証処理を実行して、前記牛用顔認証ニューラルネットワークの出力層に入力されるデータを前記顔認証出力として出力する、請求項５に記載の情報処理システム。
【請求項７】
前記シルエット認証実行部は、牛の全身のシルエットを入力とし、前記牛のシルエット認証結果を出力とする牛用シルエット認証ニューラルネットワークを用いた前記シルエット認証処理を実行して、前記牛用シルエット認証ニューラルネットワークの出力層に入力されるデータを前記シルエット認証出力として出力する、請求項６に記載の情報処理システム。
【請求項８】
体重を推定する対象の牛である体重推定対象牛を撮像した動画像又は複数の静止画像における前記牛のエッジを検出するエッジ検出部と、
前記エッジ検出部が検出した前記牛のエッジを用いて、前記動画像又は前記複数の静止画像から前記体重推定対象牛の３Ｄ画像を生成する３Ｄ画像生成部と、
前記体重推定対象牛の前記３Ｄ画像に基づいて、前記体重推定対象牛の身体の寸法を推定する寸法推定部と、
前記寸法推定部が推定した前記体重推定対象牛の身体の寸法に基づいて、前記体重推定対象牛の体重を推定する体重推定部と、
前記体重推定部が推定した体重と、前記個体識別部が、前記体重推定対象牛の画像に対して前記顔認証実行部が前記顔認証処理を実行して出力した前記顔認証出力と、前記体重推定対象牛の画像に対して前記シルエット認証実行部が前記シルエット認証処理を実行して出力した前記シルエット認証出力と、前記体重推定対象牛の画像に対して前記タグ認識実行部が前記タグ認識処理を実行して出力した前記タグ認識出力とに基づいて識別した前記体重推定対象牛の個体識別結果とを対応付けて記録する体重記録部と
を備える、請求項３から７のいずれか一項に記載の情報処理システム。
【請求項９】
前記エッジ検出部は、異なる位置に配置された複数の撮像部が前記体重推定対象牛を撮像することによって生成された前記複数の静止画像における前記牛のエッジを検出し、
前記３Ｄ画像生成部は、前記複数の撮像部の位置関係と、前記複数の静止画像とを用いて、前記体重推定対象牛の前記３Ｄ画像を生成する、請求項８に記載の情報処理システム。
【請求項１０】
前記体重推定部は、牛の身体の寸法と、前記牛による餌の摂食状況を示す摂食状況情報と、前記牛の体重とを含む学習データを用いた機械学習によって生成された、牛の身体の寸法及び当該牛の摂食状況情報とを入力とし、当該牛の体重の推定結果を出力とする体重推定ニューラルネットワークに、前記寸法推定部が推定した前記体重推定対象牛の体の寸法と、前記体重推定対象牛の摂食状況情報とを入力することによって、前記体重推定対象牛の前記体重を推定する、請求項８に記載の情報処理システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理システム、プログラム、及び情報処理方法に関する。
続きを表示（約 3,500 文字）【背景技術】
【０００２】
特許文献１には、測定装置によって牛の身体特徴を測定し、牛の体重を推定する技術が記載されている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０２１－０１６３７６号公報
【発明の概要】
【課題を解決するための手段】
【０００３】
本発明の一実施態様によれば、情報処理システムが提供される。前記情報処理システムは、認証対象の牛の顔を含む撮像画像に対する顔認証処理、前記認証対象の前記牛の全身を含む撮像画像に対するシルエット認証処理、及び前記認証対象の前記牛のタグが付されている箇所を含む撮像画像を解析することによって前記タグを検出し、前記タグに記載されているタグ情報を認識するタグ認識処理の少なくともいずれかによって、前記認証対象の前記牛の個体を識別する個体識別部を備えてよい。
【０００４】
前記情報処理システムにおいて、前記個体識別部は、前記顔認証処理、前記シルエット認証処理、及び前記タグ認識処理のうちの複数によって、前記認証対象の前記牛の個体を識別してよい。前記情報処理システムは、前記顔認証処理を実行する顔認証実行部を備えてよい。前記情報処理システムは、前記シルエット認証処理を実行するシルエット認証実行部を備えてよい。前記情報処理システムは、前記タグ認識処理を実行するタグ認識実行部を備えてよい。前記個体識別部は、前記顔認証実行部からの出力である顔認証出力、前記シルエット認証実行部からの出力であるシルエット認証出力、及び前記タグ認識実行部からの出力であるタグ認識出力に基づいて、前記認証対象の前記牛の個体を識別してよい。
【０００５】
前記情報処理システムは、前記顔認証実行部からの出力と、前記シルエット認証実行部からの出力と、前記タグ認識実行部からの出力と、正解データとを含む学習データを用いた機械学習によって生成された、前記顔認証実行部からの出力と、前記シルエット認証実行部からの出力と、前記タグ認識実行部からの出力を入力とし、認証結果を出力とする牛識別ニューラルネットワークを記憶する記憶部を備えてよく、前記個体識別部は、前記認証対象の牛に対する前記顔認証出力、前記シルエット認証出力、及び前記タグ認識出力を、前記牛識別ニューラルネットワークに入力することによって、前記認証対象の牛の個体を識別してよい。前記顔認証実行部は、前記認証対象の牛の顔認証結果の複数の候補と、前記複数の候補のそれぞれの尤度とを含む前記顔認証出力を出力してよく、前記シルエット認証実行部は、前記認証対象の牛のシルエット認証結果の複数の候補と、前記複数の候補のそれぞれの尤度とを含む前記シルエット認証出力を出力してよく、前記タグ認識実行部は、前記認証対象の牛のタグ認識結果の複数の候補と、前記複数の候補のそれぞれの尤度とを含む前記タグ認識出力を出力してよい。前記顔認証実行部は、牛の顔を含む撮像画像を入力とし、前記牛の顔認証結果を出力とする顔認証ニューラルネットワークを用いた前記顔認証処理を実行して、前記顔認証ニューラルネットワークの出力層に入力されるデータを前記顔認証出力として出力してよい。前記シルエット認証実行部は、牛の全身のシルエットを入力とし、前記牛のシルエット認証結果を出力とするシルエット認証ニューラルネットワークを用いた前記シルエット認証処理を実行して、前記シルエット認証ニューラルネットワークの出力層に入力されるデータを前記シルエット認証出力として出力してよい。
【０００６】
前記いずれかの情報処理システムは、体重を推定する対象の牛である体重推定対象牛を撮像した動画像又は複数の静止画像における前記牛のエッジを検出するエッジ検出部と、前記エッジ検出部が検出した前記牛のエッジを用いて、前記動画像又は前記複数の静止画像から前記体重推定対象牛の３Ｄ画像を生成する３Ｄ画像生成部と、前記体重推定対象牛の前記３Ｄ画像に基づいて、前記体重推定対象牛の身体の寸法を推定する寸法推定部と、前記寸法推定部が推定した前記体重推定対象牛の身体の寸法に基づいて、前記体重推定対象牛の体重を推定する体重推定部と、前記体重推定部が推定した体重と、前記個体識別部が、前記体重推定対象牛の画像に対して前記顔認証実行部が前記顔認証処理を実行して出力した前記顔認証出力と、前記体重推定対象牛の画像に対して前記シルエット認証実行部が前記シルエット認証処理を実行して出力した前記シルエット認証出力と、前記体重推定対象牛の画像に対して前記タグ認識実行部が前記タグ認識処理を実行して出力した前記タグ認識出力とに基づいて識別した前記体重推定対象牛の個体識別結果とを対応付けて記録する体重記録部とを備えてよい。前記エッジ検出部は、異なる位置に配置された複数の撮像部が前記体重推定対象牛を撮像することによって生成された前記複数の静止画像における前記牛のエッジを検出してよく、前記３Ｄ画像生成部は、前記複数の撮像部の位置関係と、前記複数の静止画像とを用いて、前記体重推定対象牛の前記３Ｄ画像を生成してよい。前記体重推定部は、牛の身体の寸法と、前記牛による餌の摂食状況を示す摂食状況情報と、前記牛の体重とを含む学習データを用いた機械学習によって生成された、牛の身体の寸法及び当該牛の摂食状況情報とを入力とし、当該牛の体重の推定結果を出力とする体重推定ニューラルネットワークに、前記寸法推定部が推定した前記体重推定対象牛の身体の寸法と、前記体重推定対象牛の摂食状況情報とを入力することによって、前記体重推定対象牛の前記体重を推定してよい。
【０００７】
本発明の一実施態様によれば、情報処理システムが提供される。前記情報処理システムは、体重を推定する対象の牛である体重推定対象牛を撮像した動画像又は複数の静止画像における前記牛のエッジを検出するエッジ検出部を備えてよい。前記情報処理システムは、前記エッジ検出部が検出した前記牛のエッジを用いて、前記動画像又は前記複数の静止画像から前記体重推定対象牛の３Ｄ画像を生成する３Ｄ画像生成部を備えてよい。前記情報処理システムは、前記体重推定対象牛の前記３Ｄ画像に基づいて、前記体重推定対象牛の身体の寸法を推定する寸法推定部を備えてよい。前記情報処理システムは、前記寸法推定部が推定した前記体重推定対象牛の身体の寸法に基づいて、前記体重推定対象牛の体重を推定する体重推定部を備えてよい。
【０００８】
本発明の一実施態様によれば、コンピュータを、前記情報処理システムとして機能させるためのプログラムが提供される。
【０００９】
本発明の一実施態様によれば、コンピュータによって実行される情報処理方法が提供される。前記情報処理方法は、認証対象の牛の顔を含む撮像画像に対して顔認証処理と、前記認証対象の前記牛の全身を含む撮像画像に対してシルエット認証処理と、前記認証対象の前記牛のタグが付されている箇所を含む撮像画像を解析することによって前記タグを検出し、前記タグに記載されているタグ情報を認識するタグ認識処理との少なくともいずれかを実行する実行段階を備えてよい。前記情報処理方法は、前記顔認証処理の出力である顔認証出力、前記シルエット認証処理の出力であるシルエット認証出力、及び前記タグ認識処理の出力であるタグ認識出力の少なくともいずれかに基づいて、前記認証対象の前記牛の個体を識別する個体識別段階を備えてよい。
【００１０】
本発明の一実施態様によれば、コンピュータによって実行される情報処理方法が提供される。前記情報処理方法は、体重を推定する対象の牛である体重推定対象牛を撮像した動画像又は複数の静止画像における前記牛のエッジを検出するエッジ検出段階を備えてよい。前記情報処理方法は、前記エッジ検出段階において検出した前記牛のエッジを用いて、前記動画像又は前記複数の静止画像から前記体重推定対象牛の３Ｄ画像を生成する３Ｄ画像生成段階を備えてよい。前記情報処理方法は、前記体重推定対象牛の前記３Ｄ画像に基づいて、前記体重推定対象牛の身体の寸法を推定する寸法推定段階を備えてよい。前記情報処理方法は、前記寸法推定段階において推定した前記体重推定対象牛の身体の寸法に基づいて、前記体重推定対象牛の体重を推定する体重推定段階を備えてよい。
（【００１１】以降は省略されています）

関連特許