特許ウォッチ

公開番号2025066348
公報種別公開特許公報(A)
公開日2025-04-23
出願番号2023175883
出願日2023-10-11
発明の名称脂肪滴検出装置、脂肪滴検出方法及びプログラム
出願人国立大学法人大分大学
代理人個人,個人,個人,個人,個人,個人
主分類G06T 7/00 20170101AFI20250416BHJP(計算;計数)
要約【課題】教師画像を用いることなく脂肪滴候補を適切に抽出する。
【解決手段】脂肪滴検出装置は、原画像取得部と、R画像作成部と、G画像作成部と、細胞核像抽出部と、前景2値画像作成部と、背景2値画像作成部と、前景2値画像と背景2値画像との位置合わせを行ってAND演算を行うことによりランクに応じたAND画像を作成し、AND画像に含まれる脂肪滴に外接する正方形を脂肪滴候補領域として切り出す脂肪滴候補抽出部とを備え、脂肪滴候補抽出部は、強化学習を行うことによって正方形のサイズとランクとを決定し、強化学習では、横軸が正方形のサイズとして設定されかつ縦軸がランクとして設定された強化学習の環境上のどのルートを強化学習のエージェントとしての脂肪滴検出装置が通過すれば脂肪滴候補抽出部によって切り出される複数の脂肪滴候補領域がより多く相互に重なるかが強化学習の報酬として与えられる。
【選択図】図9
特許請求の範囲【請求項１】
病理組織原画像を取得する原画像取得部と、
前記原画像取得部によって取得された前記病理組織原画像からＲ画像を作成するＲ画像作成部と、
前記原画像取得部によって取得された前記病理組織原画像から前記病理組織原画像に含まれる脂肪滴が強調される脂肪滴強調画像であるＧ画像を作成するＧ画像作成部と、
前記Ｒ画像作成部によって作成された前記Ｒ画像から、前記病理組織原画像に含まれる細胞核を抽出したモノクロ２値画像である第１モノクロ２値画像を作成する細胞核像抽出部と、
前記Ｇ画像作成部によって作成された前記Ｇ画像から第２モノクロ２値画像を作成し、前記第２モノクロ２値画像に含まれる複数の画素によって構成されるフィルタ領域内に存在する白画素の数であるランクに応じて前記第２モノクロ２値画像に含まれる黒画素を白画素に変換する処理と前記第２モノクロ２値画像に含まれる白画素を黒画素に変換する処理とを行うことによって得られる第３モノクロ２値画像を作成し、前記細胞核像抽出部によって作成された前記第１モノクロ２値画像を前記第３モノクロ２値画像から減算することによって前景２値画像を作成する前景２値画像作成部と、
前記Ｇ画像作成部によって作成された前記Ｇ画像から、前記脂肪滴を白い領域として抽出した背景２値画像を作成する背景２値画像作成部と、
前記前景２値画像作成部によって作成された前記前景２値画像と前記背景２値画像作成部によって作成された前記背景２値画像との位置合わせを行ってＡＮＤ演算を行うことにより前記ランクに応じたＡＮＤ画像を作成し、前記ＡＮＤ画像に含まれる前記脂肪滴に外接する正方形を脂肪滴候補領域として切り出す脂肪滴候補抽出部とを備える脂肪滴検出装置であって、
前記脂肪滴候補抽出部は、強化学習を行うことによって前記正方形のサイズと前記ランクとを決定し、
前記強化学習では、横軸及び縦軸の一方が前記正方形のサイズとして設定され、かつ、前記横軸及び前記縦軸の他方が前記ランクとして設定された前記強化学習の環境上のどのルートを前記強化学習のエージェントとしての前記脂肪滴検出装置が通過すれば前記脂肪滴候補抽出部によって切り出される複数の前記脂肪滴候補領域がより多く相互に重なるかが前記強化学習の報酬として与えられ、前記強化学習のＱ値が、前記強化学習の報酬に基づいて更新され、
前記環境の前記横軸及び前記縦軸の一方の向きの前記強化学習のエージェントの移動開始位置及び移動終了位置は、前記正方形のサイズの下限及び上限に相当する、脂肪滴検出装置。
続きを表示（約 3,900 文字）【請求項２】
前記脂肪滴候補抽出部によって切り出された前記正方形に前記脂肪滴が含まれるか否かを判別する判別部を備える、請求項１に記載の脂肪滴検出装置。
【請求項３】
前記前景２値画像作成部は、前記強化学習を行うことによって決定された前記ランクに応じた前記第３モノクロ２値画像を作成し、
前記背景２値画像作成部は、前記強化学習を行うことによって決定された前記ランクとは無関係に前記背景２値画像を作成する、請求項１又は２に記載の脂肪滴検出装置。
【請求項４】
前記前景２値画像作成部は、
前記Ｇ画像作成部によって作成された前記Ｇ画像に誤差拡散法を適用することによって前記第２モノクロ２値画像を作成し、
９画素（３画素×３画素）によって構成されかつ３個以上の白画素が存在する前記フィルタ領域内のすべての画素を白画素に変換すると共に、９画素（３画素×３画素）によって構成されかつ３個未満の白画素が存在する前記フィルタ領域内のすべての画素を黒画素に変換することによって、「ランク３」の前記第３モノクロ２値画像を作成し、
９画素（３画素×３画素）によって構成されかつ４個以上の白画素が存在する前記フィルタ領域内のすべての画素を白画素に変換すると共に、９画素（３画素×３画素）によって構成されかつ４個未満の白画素が存在する前記フィルタ領域内のすべての画素を黒画素に変換することによって、「ランク４」の前記第３モノクロ２値画像を作成し、
９画素（３画素×３画素）によって構成されかつ５個以上の白画素が存在する前記フィルタ領域内のすべての画素を白画素に変換すると共に、９画素（３画素×３画素）によって構成されかつ５個未満の白画素が存在する前記フィルタ領域内のすべての画素を黒画素に変換することによって、「ランク５」の前記第３モノクロ２値画像を作成し、
９画素（３画素×３画素）によって構成されかつ６個以上の白画素が存在する前記フィルタ領域内のすべての画素を白画素に変換すると共に、９画素（３画素×３画素）によって構成されかつ６個未満の白画素が存在する前記フィルタ領域内のすべての画素を黒画素に変換することによって、「ランク６」の前記第３モノクロ２値画像を作成する、請求項３に記載の脂肪滴検出装置。
【請求項５】
前記環境上における前記強化学習のエージェントの前記移動開始位置は、前記正方形のサイズが２５００画素（５０画素×５０画素）であって前記ランクが前記「ランク６」である前記環境上の位置であり、
前記環境上における前記強化学習のエージェントの前記移動終了位置は、前記正方形のサイズが２５画素（５画素×５画素）であって前記ランクが前記「ランク３」である前記環境上の位置である、請求項４に記載の脂肪滴検出装置。
【請求項６】
各時刻における前記強化学習のエージェントの前記環境上の位置は、前記強化学習の状態に相当し、
前記強化学習のエージェントの前記環境上の移動は、前記強化学習の行動に相当する、請求項５に記載の脂肪滴検出装置。
【請求項７】
前記環境上の３か所にペナルティエリアが設置されている、請求項６に記載の脂肪滴検出装置。
【請求項８】
前記背景２値画像作成部は、前記Ｇ画像作成部によって作成された前記Ｇ画像に対して２２５画素（１５画素×１５画素）の平均値フィルタを用いて適応２値化処理を行い、９画素（３画素×３画素）の平均値フィルタを適用し、オープニング処理を行うことによって、前記背景２値画像を作成する、請求項１又は２に記載の脂肪滴検出装置。
【請求項９】
脂肪滴検出装置が、病理組織原画像を取得する原画像取得ステップと、
前記脂肪滴検出装置が、前記原画像取得ステップにおいて取得された前記病理組織原画像からＲ画像を作成するＲ画像作成ステップと、
前記脂肪滴検出装置が、前記原画像取得ステップにおいて取得された前記病理組織原画像から前記病理組織原画像に含まれる脂肪滴が強調される脂肪滴強調画像であるＧ画像を作成するＧ画像作成ステップと、
前記脂肪滴検出装置が、前記Ｒ画像作成ステップにおいて作成された前記Ｒ画像から、前記病理組織原画像に含まれる細胞核を抽出したモノクロ２値画像である第１モノクロ２値画像を作成する細胞核像抽出ステップと、
前記脂肪滴検出装置が、前記Ｇ画像作成ステップにおいて作成された前記Ｇ画像から第２モノクロ２値画像を作成し、前記第２モノクロ２値画像に含まれる複数の画素によって構成されるフィルタ領域内に存在する白画素の数であるランクに応じて前記第２モノクロ２値画像に含まれる黒画素を白画素に変換する処理と前記第２モノクロ２値画像に含まれる白画素を黒画素に変換する処理とを行うことによって得られる第３モノクロ２値画像を作成し、前記細胞核像抽出ステップにおいて作成された前記第１モノクロ２値画像を前記第３モノクロ２値画像から減算することによって前景２値画像を作成する前景２値画像作成ステップと、
前記脂肪滴検出装置が、前記Ｇ画像作成ステップにおいて作成された前記Ｇ画像から、前記脂肪滴を白い領域として抽出した背景２値画像を作成する背景２値画像作成ステップと、
前記脂肪滴検出装置が、前記前景２値画像作成ステップにおいて作成された前記前景２値画像と前記背景２値画像作成ステップにおいて作成された前記背景２値画像との位置合わせを行ってＡＮＤ演算を行うことにより前記ランクに応じたＡＮＤ画像を作成し、前記ＡＮＤ画像に含まれる前記脂肪滴に外接する正方形を脂肪滴候補領域として切り出す脂肪滴候補抽出ステップとを備える脂肪滴検出方法であって、
前記脂肪滴候補抽出ステップでは、強化学習を行うことによって前記正方形のサイズと前記ランクとが決定され、
前記強化学習では、横軸及び縦軸の一方が前記正方形のサイズとして設定され、かつ、前記横軸及び前記縦軸の他方が前記ランクとして設定された前記強化学習の環境上のどのルートを前記強化学習のエージェントとしての前記脂肪滴検出装置が通過すれば前記脂肪滴候補抽出ステップにおいて切り出される複数の前記脂肪滴候補領域がより多く相互に重なるかが前記強化学習の報酬として与えられ、前記強化学習のＱ値が、前記強化学習の報酬に基づいて更新され、
前記環境の前記横軸及び前記縦軸の一方の向きの前記強化学習のエージェントの移動開始位置及び移動終了位置は、前記正方形のサイズの下限及び上限に相当する、脂肪滴検出方法。
【請求項１０】
コンピュータに
病理組織原画像を取得する原画像取得ステップと、
前記原画像取得ステップにおいて取得された前記病理組織原画像からＲ画像を作成するＲ画像作成ステップと、
前記原画像取得ステップにおいて取得された前記病理組織原画像から前記病理組織原画像に含まれる脂肪滴が強調される脂肪滴強調画像であるＧ画像を作成するＧ画像作成ステップと、
前記Ｒ画像作成ステップにおいて作成された前記Ｒ画像から、前記病理組織原画像に含まれる細胞核を抽出したモノクロ２値画像である第１モノクロ２値画像を作成する細胞核像抽出ステップと、
前記Ｇ画像作成ステップにおいて作成された前記Ｇ画像から第２モノクロ２値画像を作成し、前記第２モノクロ２値画像に含まれる複数の画素によって構成されるフィルタ領域内に存在する白画素の数であるランクに応じて前記第２モノクロ２値画像に含まれる黒画素を白画素に変換する処理と前記第２モノクロ２値画像に含まれる白画素を黒画素に変換する処理とを行うことによって得られる第３モノクロ２値画像を作成し、前記細胞核像抽出ステップにおいて作成された前記第１モノクロ２値画像を前記第３モノクロ２値画像から減算することによって前景２値画像を作成する前景２値画像作成ステップと、
前記Ｇ画像作成ステップにおいて作成された前記Ｇ画像から、前記脂肪滴を白い領域として抽出した背景２値画像を作成する背景２値画像作成ステップと、
前記前景２値画像作成ステップにおいて作成された前記前景２値画像と前記背景２値画像作成ステップにおいて作成された前記背景２値画像との位置合わせを行ってＡＮＤ演算を行うことにより前記ランクに応じたＡＮＤ画像を作成し、前記ＡＮＤ画像に含まれる前記脂肪滴に外接する正方形を脂肪滴候補領域として切り出す脂肪滴候補抽出ステップとを実行させるためのプログラムであって、
前記脂肪滴候補抽出ステップでは、強化学習を行うことによって前記正方形のサイズと前記ランクとが決定され、
前記強化学習では、横軸及び縦軸の一方が前記正方形のサイズとして設定され、かつ、前記横軸及び前記縦軸の他方が前記ランクとして設定された前記強化学習の環境上のどのルートを前記強化学習のエージェントとしての脂肪滴検出装置が通過すれば前記脂肪滴候補抽出ステップにおいて切り出される複数の前記脂肪滴候補領域がより多く相互に重なるかが前記強化学習の報酬として与えられ、前記強化学習のＱ値が、前記強化学習の報酬に基づいて更新され、
前記環境の前記横軸及び前記縦軸の一方の向きの前記強化学習のエージェントの移動開始位置及び移動終了位置は、前記正方形のサイズの下限及び上限に相当する、プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、脂肪滴検出装置、脂肪滴検出方法及びプログラムに関する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
光学顕微鏡、対物レンズ、カメラ等を用いて得られる病理組織原画像に含まれる脂肪滴は、大きさ、濃淡、形状などが複雑であるため、経験のある病理医でも脂肪滴が含まれるか否かの診断は難しく時間を要する場合がある。また病理学的解析で通常作成されるホルマリン固定パラフィン包埋（ＦＦＰＥ）検体では、脂肪滴が標本作成過程で除かれてしまう。そのため病理学的に脂肪滴を検出するためには凍結組織を用いる必要があるが、日常診断における凍結組織作製や保存は困難である。また、複雑な像が多く含まれる病理組織原画像の解析や、ＦＦＰＥでも検出可能で病理医をサポートできる技術の開発も望まれている。
【０００３】
特許文献１には、診断対象部位の画像に含まれる病変の範囲を特定する病理診断装置について記載されている。また、特許文献１には、肝生検画像に含まれる風船様肝細胞と脂肪滴含有肝細胞との区別に、ある程度以上経験のある病理専門医の間でも所見に差が出ることがある旨が記載されている。特許文献１に記載された技術では、脂肪滴含有肝細胞であるか否かが正解データとして入力され、検証モデル（学習モデル）の学習が行われる。
【０００４】
特許文献１等に記載された技術では、多くの学習と教師画像が必要となるが、希少疾患や希少病変が対象の場合、大量の教師画像を用意することが難しく、学習量の多い手法は応用が難しい。
【先行技術文献】
【特許文献】
【０００５】
特開２０２２－１１２４０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した点に鑑み、本発明は、教師画像を用いることなく脂肪滴候補を適切に抽出することができる脂肪滴検出装置、脂肪滴検出方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様は、病理組織原画像を取得する原画像取得部と、前記原画像取得部によって取得された前記病理組織原画像からＲ画像を作成するＲ画像作成部と、前記原画像取得部によって取得された前記病理組織原画像から前記病理組織原画像に含まれる脂肪滴が強調される脂肪滴強調画像であるＧ画像を作成するＧ画像作成部と、前記Ｒ画像作成部によって作成された前記Ｒ画像から、前記病理組織原画像に含まれる細胞核を抽出したモノクロ２値画像である第１モノクロ２値画像を作成する細胞核像抽出部と、前記Ｇ画像作成部によって作成された前記Ｇ画像から第２モノクロ２値画像を作成し、前記第２モノクロ２値画像に含まれる複数の画素によって構成されるフィルタ領域内に存在する白画素の数であるランクに応じて前記第２モノクロ２値画像に含まれる黒画素を白画素に変換する処理と前記第２モノクロ２値画像に含まれる白画素を黒画素に変換する処理とを行うことによって得られる第３モノクロ２値画像を作成し、前記細胞核像抽出部によって作成された前記第１モノクロ２値画像を前記第３モノクロ２値画像から減算することによって前景２値画像を作成する前景２値画像作成部と、前記Ｇ画像作成部によって作成された前記Ｇ画像から、前記脂肪滴を白い領域として抽出した背景２値画像を作成する背景２値画像作成部と、前記前景２値画像作成部によって作成された前記前景２値画像と前記背景２値画像作成部によって作成された前記背景２値画像との位置合わせを行ってＡＮＤ演算を行うことにより前記ランクに応じたＡＮＤ画像を作成し、前記ＡＮＤ画像に含まれる前記脂肪滴に外接する正方形を脂肪滴候補領域として切り出す脂肪滴候補抽出部とを備える脂肪滴検出装置であって、前記脂肪滴候補抽出部は、強化学習を行うことによって前記正方形のサイズと前記ランクとを決定し、前記強化学習では、横軸及び縦軸の一方が前記正方形のサイズとして設定され、かつ、前記横軸及び前記縦軸の他方が前記ランクとして設定された前記強化学習の環境上のどのルートを前記強化学習のエージェントとしての前記脂肪滴検出装置が通過すれば前記脂肪滴候補抽出部によって切り出される複数の前記脂肪滴候補領域がより多く相互に重なるかが前記強化学習の報酬として与えられ、前記強化学習のＱ値が、前記強化学習の報酬に基づいて更新され、前記環境の前記横軸及び前記縦軸の一方の向きの前記強化学習のエージェントの移動開始位置及び移動終了位置は、前記正方形のサイズの下限及び上限に相当する、脂肪滴検出装置である。
【０００８】
本発明の一態様の脂肪滴検出装置は、前記脂肪滴候補抽出部によって切り出された前記正方形に前記脂肪滴が含まれるか否かを判別する判別部を備えてもよい。
【０００９】
本発明の一態様の脂肪滴検出装置では、前記前景２値画像作成部は、前記強化学習を行うことによって決定された前記ランクに応じた前記第３モノクロ２値画像を作成し、前記背景２値画像作成部は、前記強化学習を行うことによって決定された前記ランクとは無関係に前記背景２値画像を作成してもよい。
【００１０】
本発明の一態様の脂肪滴検出装置では、前記前景２値画像作成部は、前記Ｇ画像作成部によって作成された前記Ｇ画像に誤差拡散法を適用することによって前記第２モノクロ２値画像を作成し、９画素（３画素×３画素）によって構成されかつ３個以上の白画素が存在する前記フィルタ領域内のすべての画素を白画素に変換すると共に、９画素（３画素×３画素）によって構成されかつ３個未満の白画素が存在する前記フィルタ領域内のすべての画素を黒画素に変換することによって、「ランク３」の前記第３モノクロ２値画像を作成し、９画素（３画素×３画素）によって構成されかつ４個以上の白画素が存在する前記フィルタ領域内のすべての画素を白画素に変換すると共に、９画素（３画素×３画素）によって構成されかつ４個未満の白画素が存在する前記フィルタ領域内のすべての画素を黒画素に変換することによって、「ランク４」の前記第３モノクロ２値画像を作成し、９画素（３画素×３画素）によって構成されかつ５個以上の白画素が存在する前記フィルタ領域内のすべての画素を白画素に変換すると共に、９画素（３画素×３画素）によって構成されかつ５個未満の白画素が存在する前記フィルタ領域内のすべての画素を黒画素に変換することによって、「ランク５」の前記第３モノクロ２値画像を作成し、９画素（３画素×３画素）によって構成されかつ６個以上の白画素が存在する前記フィルタ領域内のすべての画素を白画素に変換すると共に、９画素（３画素×３画素）によって構成されかつ６個未満の白画素が存在する前記フィルタ領域内のすべての画素を黒画素に変換することによって、「ランク６」の前記第３モノクロ２値画像を作成してもよい。
（【００１１】以降は省略されています）

関連特許