特許ウォッチ

公開番号2025015513
公報種別公開特許公報(A)
公開日2025-01-30
出願番号2024115615
出願日2024-07-19
発明の名称画像分割方法及び画像処理システム
出願人宏達國際電子股ふん有限公司
代理人個人
主分類G06T 7/12 20170101AFI20250123BHJP(計算;計数)
要約【課題】画像分割方法を提供する。
【解決手段】入力画像を指示器モデルに提供することで、指示器モデルのタスクタイプに基づいて第1指示マークを生成するステップと、指示器モデルのタスクタイプを参照して第1指示マークに対して、タスクタイプを参照して第1指示マークの位置、サイズ又は指示タイプを変換して第2指示マークを形成することを含む指示強化プログラムを行って第2指示マークを生成するステップと、入力画像及び第2指示マークを分割基礎モデルに提供し、第2指示マークに基づいて入力画像において出力分割マスクを生成するステップとを含む画像分割方法。
【選択図】図3
特許請求の範囲【請求項１】
入力画像を指示器モデルに提供することで、前記指示器モデルのタスクタイプに基づいて第１指示マークを生成するステップと、
前記指示器モデルの前記タスクタイプを参照して前記第１指示マークに対して、前記タスクタイプを参照して前記第１指示マークの位置、サイズ又は指示タイプを変換して第２指示マークを形成することを含む指示強化プログラムを行って前記第２指示マークを生成するステップと、
前記入力画像及び前記第２指示マークを分割基礎モデルに提供し、前記分割基礎モデルによって前記第２指示マークに基づいて前記入力画像において出力分割マスクを生成するステップとを含む、画像分割方法。
続きを表示（約 2,300 文字）【請求項２】
前記指示器モデルの前記タスクタイプが物体検知タイプであることに応答して、前記指示器モデルにより生成された前記第１指示マークは、第１エッジボックスであり、
前記第１指示マークに対して行う前記指示強化プログラムは、前記第１エッジボックスの位置を移動して第２エッジボックスを形成すること、前記第１エッジボックスのサイズを前記第２エッジボックスに拡大すること、又は前記第１エッジボックスの前記サイズを前記第２エッジボックスに縮小することを含み、
前記第２指示マークは、前記第２エッジボックスを含む、請求項１に記載の画像分割方法。
【請求項３】
前記指示器モデルの前記タスクタイプが前記物体検知タイプであることに応答して、前記第１指示マークに対して行う前記指示強化プログラムは、前記第２エッジボックス内で第１ノードを選択すること、又は前記第２エッジボックスの外で第２ノードを選択することをさらに含み、
前記第２指示マークは、前記第１ノードに位置する正方向クリック又は前記第２ノードに位置する負方向クリックをさらに含む、請求項２に記載の画像分割方法。
【請求項４】
前記指示器モデルの前記タスクタイプが画像分割タイプであることに応答して、前記指示器モデルにより生成された前記第１指示マークは、第１分割マスクであり、
前記第１指示マークに対して行う前記指示強化プログラムは、前記第１分割マスクの位置を移動して第２分割マスクを形成すること、前記第１分割マスクのサイズを前記第２分割マスクに拡大すること、前記第１分割マスクの前記サイズを前記第２分割マスクに縮小すること、又は前記第１分割マスクの複数のエッジノードに基づいてエッジボックスを取得することを含み、
前記第２指示マークは、前記第２分割マスク又は前記エッジボックスを含む、請求項１に記載の画像分割方法。
【請求項５】
前記指示器モデルの前記タスクタイプが前記画像分割タイプであることに応答して、前記第１指示マークに対して行う前記指示強化プログラムは、前記第２分割マスク内で第１ノードを選択すること、又は前記第２分割マスクの外で第２ノードを選択することをさらに含み、
前記第２指示マークは、前記第１ノードに位置する正方向クリック又は前記第２ノードに位置する負方向クリックをさらに含む、請求項４に記載の画像分割方法。
【請求項６】
前記指示器モデルの前記タスクタイプが分類タイプであることに応答して、前記指示器モデルにより生成された前記第１指示マークは、ヒートマップであり、
前記第１指示マークに対して行う前記指示強化プログラムは、
前記ヒートマップにおける複数の特徴点の値と閾値とを比較することと、
前記ヒートマップにおける前記閾値を超える複数の第１特徴点を位置決めするとともに、前記ヒートマップにおける前記閾値よりも低い複数の第２特徴点を位置決めすることと、
前記複数の第１特徴点の複数のエッジノードに基づいてエッジボックスを取得し、又は前記複数の第１特徴点に基づいて分割マスクを取得することとを含み、前記第２指示マークは、前記エッジボックス又は前記分割マスクを含む、請求項１に記載の画像分割方法。
【請求項７】
前記指示器モデルの前記タスクタイプが前記分類タイプであることに応答して、前記第１指示マークに対して行う前記指示強化プログラムは、前記複数の第１特徴点から第１ノードを選択すること、又は前記複数の第２特徴点から第２ノードを選択することをさらに含み、
前記第２指示マークは、前記第１ノードに位置する正方向クリック又は前記第２ノードに位置する負方向クリックをさらに含む、請求項６に記載の画像分割方法。
【請求項８】
出力された前記分割マスク及び前記入力画像に基づいて出力画像を生成することをさらに含む、請求項１に記載の画像分割方法。
【請求項９】
前記分割基礎モデルは、
前記入力画像を受信し、且つ前記入力画像を入力画像埋め込みベクトルに変換するための画像エンコーダと、
前記第２指示マークを受信し、且つ前記第２指示マークを指示ベクトルに変換するための指示エンコーダと、
前記入力画像埋め込みベクトル及び前記指示ベクトルに基づいて前記出力分割マスクを生成するためのマスクデコーダとを含む、請求項１に記載の画像分割方法。
【請求項１０】
複数のコンピュータ実行可能な命令を記憶するための記憶ユニットと、
前記記憶ユニットに結合される処理ユニットであって、前記複数のコンピュータ実行可能な命令を実行するために用いられ、
入力画像を指示器モデルに提供することで、前記指示器モデルのタスクタイプに基づいて第１指示マークを生成すること、
前記指示器モデルの前記タスクタイプを参照して前記第１指示マークに対して、前記タスクタイプを参照して前記第１指示マークの位置、サイズ又は指示タイプを変換して第２指示マークを形成することを含む指示強化プログラムを行って前記第２指示マークを生成すること、
前記入力画像及び前記第２指示マークを分割基礎モデルに提供し、前記分割基礎モデルによって前記第２指示マークに基づいて前記入力画像において出力分割マスクを生成することに用いられる処理ユニットと、
を含む、画像処理システム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、画像分割方法及び画像処理システムに関し、特に分割基礎モデルと統合された画像分割方法及び画像処理システムに関する。
続きを表示（約 3,200 文字）【背景技術】
【０００２】
近年、人工知能は、急速に発展し、工業、商業、医療などの様々な応用分野ではすでに人工知能技術を広く採用してその運営を支援し始めている。しかしながら、多くの企業では、自分のニーズに合った人工知能モデルを構築するための対応する能力が不足している。そのため、多くの企業は、自動化機械学習プラットフォームを用いたり、人工知能モデルを構築するために協力を求めたりする傾向がある。自動化機械学習プラットフォームにより、人工知能の基礎知識を持つ企業ユーザーは、自動化トレーニング方法を通じて企業専用の人工知能モデルを構築することができる。これらのプラットフォームは、ユーザーにさまざまなモデル選択を提供し、それにより、彼らは、それぞれのニーズに応じて対応する能力を備えたモデルを選択し、収集したデータセットを用いて選択されたモデルをトレーニングすることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
自動化機械学習プラットフォームは、ユーザーが選択できるように、複数のモデルを提供していたが、トレーニングに必要な重要な部分、すなわち正確なラベルを有するトレーニングデータは、ユーザー自分が用意する必要がある。大量かつ正確なラベルを有するトレーニングデータをどのように確立するかは、マーキングルールの設定、マーキングされていないデータセットの用意に関し、及び専門家（例えば、生産ライン技術者、品質管理者、放射線科医）が既定のルールに基づいてマーキングし、ラベルデータを生成する必要があるため、ユーザーにとって大きな負担となる。タスクが画像分割に関する場合は、さらに時間がかかる。画像分割タスクは、画素ごとにマーキングする必要があり、経験のあるマーキング者にとっても大量の時間がかかる。一般的に、機械学習モデルのトレーニングには、大量のラベルトレーニングデータ、一定の時間及びトレーニングを行うために必要な演算機器を必要とする。
【０００４】
以上のことから、従来の画像分割モデルトレーニング過程は、データを収集するステップと、データマーキングを行うステップと、適切なモデルを選択するステップと、ラベルデータセットをロードするステップと、モデルをトレーニングするステップと、トレーニング後のモデルを取得するステップとを含む。例えば、ラベルに犬が含まれる画像データに基づいてモデルのトレーニングを行うことができ、それにより、入力画像に犬の位置を識別し且つ位置決めすることができる。トレーニング後のモデルを改善する（例えば、猫に関する分割機能を追加する）必要がある場合に、モデルを再トレーニングするために少なくとも一部のトレーニングステップを繰り返す必要があり、これらの再トレーニングステップは、多くの時間、労力、計算リソースを消費することになる。
【課題を解決するための手段】
【０００５】
本開示の一態様によれば、画像分割方法であって、入力画像を指示器モデルに提供することで、前記指示器モデルのタスクタイプに基づいて第１指示マークを生成するステップと、前記指示器モデルの前記タスクタイプを参照して前記第１指示マークに対して、前記タスクタイプを参照して前記第１指示マークの位置、サイズ又は指示タイプを変換して第２指示マークを形成することを含む指示強化プログラムを行って前記第２指示マークを生成するステップと、前記入力画像及び前記第２指示マークを分割基礎モデルに提供し、前記分割基礎モデルによって前記第２指示マークに基づいて前記入力画像において出力分割マスクを生成するステップとを含む、画像分割方法を開示する。
【０００６】
本開示の別の態様によれば、画像処理システムであって、複数のコンピュータ実行可能な命令を記憶するための記憶ユニットと、記憶ユニットに結合され、前記複数のコンピュータ実行可能な命令を実行するために用いられ、入力画像を指示器モデルに提供することで、前記指示器モデルのタスクタイプに基づいて第１指示マークを生成すること、前記指示器モデルの前記タスクタイプを参照して前記第１指示マークに対して、前記指示強化プログラムが前記タスクタイプを参照して前記第１指示マークの位置、サイズ又は指示タイプを変換して第２指示マークを形成することを含む指示強化プログラムを行って前記第２指示マークを生成すること、前記入力画像及び前記第２指示マークを分割基礎モデルに提供し、前記分割基礎モデルによって前記第２指示マークに基づいて前記入力画像において出力分割マスクを生成することに用いられる処理ユニットとを含む、画像処理システムを開示する。
【０００７】
なお、上記説明及び後続の詳細な説明は、本願を実施形態で例示的に説明し、本願が要求する発明内容の解釈及び理解を支援するために用いられる。
【図面の簡単な説明】
【０００８】
本開示の上記及びその他の目的、特徴及び実施例をより明確にわかりやすくするために、添付の図面は以下のように説明する。
本開示のいくつかの実施例による画像処理システムの概略図である。
本開示のいくつかの実施例における画像分割方法のフローチャートである。
いくつかの実施例における画像分割方法の実行中に入力画像に基づいて生成された第１指示マーク、第２指示マーク、出力分割マスク及び出力画像の概略図である。
本開示のいくつかの実施例による指示器モデルのトレーニング方法の方法フローチャートである。
１つの例示的な例における指示器モデルのタスクタイプが物体検知タイプである場合に対応する入力画像、第１指示マーク及び第２指示マークの概略図である。
別の例示的な例における指示器モデルのタスクタイプが画像分割タイプである場合に対応する入力画像、第１指示マーク及び第２指示マークの概略図である。
別の例示的な例における指示器モデルのタスクタイプが分類タイプである場合に対応する入力画像、第１指示マーク及び第２指示マークの概略図である。
いくつかの実施例における分割基礎モデルが異なる指示マークに基づいて生成する異なる出力分割マスクの概略図である。
いくつかの実施例における分割基礎モデルが異なる指示マークに基づいて生成する異なる出力分割マスクの概略図である。
【発明を実施するための形態】
【０００９】
以下の開示は、本開示の異なる特徴を実施するための多くの異なる実施例又は例証を提供する。特別な例証における素子及び構成は、以下の議論で本開示を簡略化するために用いられる。議論されているいかなる例証は、解説の目的でのみ用いられ、本開示又はその例証の範囲と意味をいかなる方式で制限することはない。適切な場合は、図面間及び対応するテキスト説明に同じ符号を用いて、同じ又は類似した素子を表す。
【００１０】
図１を参照されたい。それは、本開示のいくつかの実施例による画像処理システム１００の概略図である。いくつかの実施例では、画像処理システム１００は、入力画像ＩＭＧｉに対して特定の画像分割タスクを実行することができる。例えば、画像処理システム１００は、磁気共鳴イメージング（ＭＲＩ）スキャン画像における潜在的腫瘍位置をマークし、交通モニタリング画像におけるナンバープレートを識別し、芝生背景中の猫をマークし、又は前景人物と背景景色を分離するために用いることができる。いくつかの実施例では、画像処理システム１００は、分割基礎モデル（ＳＦＭ）１９２と共同で動作して上記画像分割タスクを実行するために用いられる。
（【００１１】以降は省略されています）

関連特許