特許ウォッチ

公開番号2025086019
公報種別公開特許公報(A)
公開日2025-06-06
出願番号2023199782
出願日2023-11-27
発明の名称情報処理システム、プログラム、及び情報処理方法
出願人ソフトバンク株式会社
代理人弁理士法人RYUKA国際特許事務所
主分類G01B 11/04 20060101AFI20250530BHJP(測定;試験)
要約【解決手段】魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、当該魚の画像空間における3次元のサイズを示す画像サイズ情報とを含むサイズGTデータを生成するGTデータ生成部と、複数の前記サイズGTデータを用いた機械学習を実行することによって、魚の画像を入力とし、当該魚の画像空間における3次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成する学習実行部と、魚を撮像した魚撮像画像を、前記学習実行部によって生成された前記学習モデルに入力して、前記魚の画像サイズ情報を取得するサイズ推定部とを備える、情報処理システムを提供する。
【選択図】図1
特許請求の範囲【請求項１】
魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、前記魚の画像空間における３次元のサイズを示す画像サイズ情報とを含むサイズＧＴ（ＧｒｏｕｎｄＴｒｕｔｈ）データを生成するＧＴデータ生成部と、
複数の前記サイズＧＴデータを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の画像空間における３次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成する学習実行部と、
魚を撮像した魚撮像画像を、前記学習実行部によって生成された前記学習モデルに入力して、前記魚の画像サイズ情報を取得するサイズ推定部と
を備える、情報処理システム。
続きを表示（約 2,200 文字）【請求項２】
前記ＧＴデータ生成部は、魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、前記魚の姿勢を示す姿勢情報とを含む姿勢ＧＴデータを生成し、
前記学習実行部は、前記複数のサイズＧＴデータと、複数の前記姿勢ＧＴデータとを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の姿勢を示す姿勢情報を出力とする姿勢学習モデルと、前記魚の画像と前記姿勢情報とを入力とし、前記魚の画像空間における３次元のサイズを示す画像サイズ情報を出力とするサイズ学習モデルとを含む前記学習モデルを生成し、
前記サイズ推定部は、前記魚撮像画像を、前記姿勢学習モデルに入力し、前記姿勢学習モデルから出力された前記姿勢情報と、前記魚撮像画像とを前記サイズ学習モデルに入力して、前記魚の前記画像サイズ情報を取得する、請求項１に記載の情報処理システム。
【請求項３】
前記サイズ推定部が複数の魚を含む魚撮像画像を前記学習モデルに入力して取得した前記複数の魚の画像サイズ情報を用いて、前記複数の魚のそれぞれについて、実空間における３次元のサイズを示す実サイズ情報を生成する実サイズ情報生成部と、
前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定部と
を備える、請求項１に記載の情報処理システム。
【請求項４】
複数の魚を含む画像を入力とし、前記複数の魚同士の相対距離を出力とする相対距離学習モデルを記憶する記憶部
を備え、
前記実サイズ情報生成部は、前記魚撮像画像を撮像したカメラと前記複数の魚のうちの一の魚との距離を特定し、前記魚撮像画像を前記相対距離学習モデルに入力して、前記複数の魚同士の相対距離を特定し、前記カメラと前記一の魚との前記距離と、前記複数の魚同士の相対距離と、前記複数の魚の画像サイズ情報とを用いて、前記複数の魚のそれぞれの前記実サイズ情報を生成する、請求項３に記載の情報処理システム。
【請求項５】
前記実サイズ情報生成部は、ステレオ視によって前記カメラと前記一の魚との距離を特定する、請求項４に記載の情報処理システム。
【請求項６】
前記実サイズ情報生成部は、前記魚撮像画像に含まれる複数の魚のうち、タグが付されており、実空間における実サイズが既知である前記一の魚を、前記タグによって特定し、前記一の魚の前記実サイズに基づいて、前記カメラと前記一の魚との距離を特定する、請求項４に記載の情報処理システム。
【請求項７】
前記実サイズ情報生成部は、実空間における実サイズと前記カメラとの距離とが既知の物体を含む前記魚撮像画像を前記相対距離学習モデルに入力して、前記複数の魚及び前記物体のそれぞれ同士の相対距離を特定し、前記物体の前記実サイズ及び前記カメラとの前記距離と、前記相対距離とを用いて、前記複数の魚のそれぞれの前記実サイズ情報を生成する、請求項４に記載の情報処理システム。
【請求項８】
前記ＧＴデータ生成部は、魚をシミュレーションしたシミュレーションデータを用いて、魚を仮想的なカメラで撮像した画像と、前記魚と前記仮想的なカメラとの距離と、前記カメラのパラメータとを含む距離ＧＴデータを生成し、
前記学習実行部は、複数の前記距離ＧＴデータを用いた機械学習を実行することによって、魚の画像及び当該画像を撮像したカメラのパラメータを入力とし、前記魚と前記カメラとの距離を出力とする距離学習モデルを生成し、
前記情報処理システムは、
前記サイズ推定部が複数の魚を含む魚撮像画像を前記学習モデルに入力して取得した前記複数の魚の画像サイズ情報と、当該魚撮像画像及び当該魚撮像画像を撮像したカメラのパラメータを前記距離学習モデルに入力して前記距離学習モデルから出力された前記複数の魚のそれぞれの前記カメラからの距離とに基づいて、前記複数の魚のそれぞれについて、実空間における３次元のサイズを示す実サイズ情報を生成する実サイズ情報生成部と、
前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定部と
を備える、請求項１から７のいずれか一項に記載の情報処理システム。
【請求項９】
複数の魚に対して測距センサが光を照射することによって測定した、前記測距センサと前記複数の魚のそれぞれとの距離を示す距離情報を取得する距離情報取得部と、
前記サイズ推定部が前記複数の魚を含む魚撮像画像を前記学習モデルに入力して取得した前記複数の魚の画像サイズ情報と、前記距離情報取得部が取得した前記距離情報とを用いて、前記複数の魚のそれぞれについて、実空間における３次元のサイズを示す実サイズ情報を生成する実サイズ情報生成部と、
前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定部と
を備える、請求項１から７のいずれか一項に記載の情報処理システム。
【請求項１０】
コンピュータを、請求項１から７のいずれか一項に記載の情報処理システムとして機能させるためのプログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理システム、プログラム、及び情報処理方法に関する。
続きを表示（約 3,000 文字）【背景技術】
【０００２】
特許文献１には、回遊中の魚を撮像した撮像画像から、魚の長さ及び高さの実サイズを算出する魚体サイズ算出装置について記載されている。
［先行技術文献］
［特許文献］
［特許文献１］特許第６６９４０３９号
【発明の概要】
【課題を解決するための手段】
【０００３】
本発明の一実施態様によれば、情報処理システムが提供される。前記情報処理システムは、ＧＴデータ生成部を備えてよい。前記ＧＴデータ生成部は、魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、当該魚の画像空間における３次元のサイズを示す画像サイズ情報とを含むサイズＧＴデータを生成してよい。前記情報処理システムは、学習実行部を備えてよい。前記学習実行部は、複数の前記サイズＧＴデータを用いた機械学習を実行することによって、魚の画像を入力とし、当該魚の画像空間における３次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成してよい。前記情報処理システムは、サイズ推定部を備えてよい。前記サイズ推定部は、魚を撮像した魚撮像画像を、前記学習実行部によって生成された前記学習モデルに入力して、前記魚の画像サイズ情報を取得してよい。
【０００４】
前記情報処理システムにおいて、前記ＧＴデータ生成部は、魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、前記魚の姿勢を示す姿勢情報とを含む姿勢ＧＴデータを生成してよく、前記学習実行部は、前記複数のサイズＧＴデータと、複数の前記姿勢ＧＴデータとを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の姿勢を示す姿勢情報を出力とする姿勢学習モデルと、前記魚の画像と前記姿勢情報とを入力とし、前記魚の画像空間における３次元のサイズを示す画像サイズ情報を出力とするサイズ学習モデルとを含む前記学習モデルを生成してよく、前記サイズ推定部は、前記魚撮像画像を、前記姿勢学習モデルに入力し、前記姿勢学習モデルから出力された前記姿勢情報と、前記魚撮像画像とを前記サイズ学習モデルに入力して、前記魚の前記画像サイズ情報を取得してよい。
【０００５】
前記いずれかの情報処理システムは、前記サイズ推定部が複数の魚を含む魚撮像画像を前記学習モデルに入力して取得した前記複数の魚の画像サイズ情報を用いて、前記複数の魚のそれぞれについて、実空間における３次元のサイズを示す実サイズ情報を生成する実サイズ情報生成部と、前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定部とを備えてよい。前記情報処理システムは、複数の魚を含む画像を入力とし、前記複数の魚同士の相対距離を出力とする相対距離学習モデルを記憶する記憶部を備えてよく、前記実サイズ情報生成部は、前記魚撮像画像を撮像したカメラと前記複数の魚のうちの一の魚との距離を特定し、前記魚撮像画像を前記相対距離学習モデルに入力して、前記複数の魚同士の相対距離を特定し、前記カメラと前記一の魚との前記距離と、前記複数の魚同士の相対距離と、前記複数の魚３０の画像サイズ情報とを用いて、前記複数の魚のそれぞれの前記実サイズ情報を生成してよい。前記実サイズ情報生成部は、ステレオ視によって前記カメラと前記一の魚との距離を特定してよい。前記実サイズ情報生成部は、前記魚撮像画像に含まれる複数の魚のうち、タグが付されており、実空間における実サイズが既知である前記一の魚を、前記タグによって特定し、前記一の魚の前記実サイズに基づいて、前記カメラと前記一の魚との距離を特定してよい。前記実サイズ情報生成部は、実空間における実サイズと前記カメラとの距離とが既知の物体を含む前記魚撮像画像を前記相対距離学習モデルに入力して、前記複数の魚及び前記物体のそれぞれ同士の相対距離を特定し、前記物体の前記実サイズ及び前記カメラとの前記距離と、前記相対距離とを用いて、前記複数の魚のそれぞれの前記実サイズ情報を生成してよい。
【０００６】
前記いずれかの情報処理システムにおいて、前記ＧＴデータ生成部は、魚をシミュレーションしたシミュレーションデータを用いて、魚を仮想的なカメラで撮像した画像と、前記魚と前記仮想的なカメラとの距離と、前記カメラのパラメータとを含む距離ＧＴデータを生成してよく、前記学習実行部は、複数の前記距離ＧＴデータを用いた機械学習を実行することによって、魚の画像及び当該画像を撮像したカメラのパラメータを入力とし、前記魚と前記カメラとの距離を出力とする距離学習モデルを生成してよい。前記情報処理システムは、前記サイズ推定部が複数の魚を含む魚撮像画像を前記学習モデルに入力して取得した前記複数の魚の画像サイズ情報と、当該魚撮像画像及び当該魚撮像画像を撮像したカメラのパラメータを前記距離学習モデルに入力して前記距離学習モデルから出力された前記複数の魚のそれぞれの前記カメラからの距離とに基づいて、前記複数の魚のそれぞれについて、実空間における３次元のサイズを示す実サイズ情報を生成する実サイズ情報生成部と、前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定部とを備えてよい。
【０００７】
前記いずれかの情報処理システムは、複数の魚に対して測距センサが光を照射することによって測定した、前記測距センサと前記複数の魚のそれぞれとの距離を示す距離情報を取得する距離情報取得部と、前記サイズ推定部が前記複数の魚を含む魚撮像画像を前記学習モデルに入力して取得した前記複数の魚の画像サイズ情報と、前記距離測定部によって測定された前記複数の魚のそれぞれとの距離とを用いて、前記複数の魚のそれぞれについて、実空間における３次元のサイズを示す実サイズ情報を生成する実サイズ情報生成部と、前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定部を備えてよい。
【０００８】
本発明の一実施態様によれば、コンピュータを、前記情報処理システムとして機能させるためのプログラムが提供される。
【０００９】
本発明の一実施態様によれば、コンピュータによって実行される情報処理方法が提供される。前記情報処理方法は、魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、前記魚の画像空間における３次元のサイズを示す画像サイズ情報とを含むサイズＧＴデータを生成するＧＴデータ生成段階を備えてよい。前記情報処理方法は、複数の前記サイズＧＴデータを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の画像空間における当該３次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成する学習実行段階を備えてよい。前記情報処理方法は、魚を撮像した魚撮像画像を、前記学習実行段階において生成された前記学習モデルに入力して、前記魚の画像サイズ情報を取得するサイズ推定段階を備えてよい。
【００１０】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許