特許ウォッチ

公開番号2025076200
公報種別公開特許公報(A)
公開日2025-05-15
出願番号2023188016
出願日2023-11-01
発明の名称残差推定ネットワークを用いた画質改善方法、コンピュータシステム及びコンピュータプログラム
出願人学校法人立命館,三井E&Sシステム技研株式会社
代理人個人
主分類G06T 5/70 20240101AFI20250508BHJP(計算;計数)
要約【課題】入力データから除去対象を除去したデータの精度低下を防止する。
【解決手段】開示の方法は、除去対象を含む入力データが入力されると前記入力データにおける前記除去対象の推定値を出力するよう機械学習された機械学習モデルである残差推定ネットワークに対して、前記入力データを入力することで、前記推定値を得て、前記推定値を用いて、前記入力データの前記除去対象を除去することを備える、残差推定ネットワークを用いた画質改善方法である。
【選択図】図1

特許請求の範囲【請求項１】
コンピュータによって実行される方法であって、
除去対象を含む入力データが入力されると前記入力データにおける前記除去対象の推定値を出力するよう機械学習された機械学習モデルである残差推定ネットワークに対して、前記入力データを入力することで、前記推定値を得て、
前記推定値を用いて、前記入力データの前記除去対象を除去する
ことを備える、残差推定ネットワークを用いた画質改善方法。
続きを表示（約 1,300 文字）【請求項２】
前記機械学習モデルは、
前記入力データの特徴を抽出するよう構成されたエンコーダと、
前記エンコーダによって抽出された特徴に基づいて、前記除去対象の前記推定値を出力するよう構成されたデコーダと、
を備える
請求項１に記載の残差推定ネットワークを用いた画質改善方法。
【請求項３】
前記入力データは、撮像対象を撮像した撮像画像であり、
前記除去対象は、前記撮像対象に重なって写り込んだ写り込み物であり、
前記機械学習モデルは、前記写り込み物を含む前記撮像画像が入力されると、前記撮像画像における前記写り込み物の推定値を出力するよう機械学習され、
前記除去対象を除去することはは、前記写り込み物の前記推定値を用いて、前記撮像画像の前記写り込み物を除去することを含む
請求項１に記載の残差推定ネットワークを用いた画質改善方法。
【請求項４】
前記入力データは、撮像面を有する撮像装置によって撮像対象を撮像した撮像画像であり、
前記除去対象は、大気中において前記撮像対象と前記撮像面との間の面にある大気以外の異物の写り込み、又は、水中において前記撮像対象と前記撮像面との間の面にある水又は水以外の異物の写り込み、であり、
前記機械学習モデルは、前記異物の前記写り込みを含む前記撮像画像が入力されると、前記撮像画像における前記異物の推定値を出力するよう機械学習され、
前記除去対象を除去することは、前記異物の前記推定値を用いて、前記撮像画像に写り込んだ前記異物を除去することを含む
請求項１に記載の残差推定ネットワークを用いた画質改善方法。
【請求項５】
前記入力データは、撮像画像であり、
前記除去対象は、雨、雪、及び水中の粒子のうちの少なくともいずれか一つの写り込みであり、
前記機械学習モデルは、前記写り込みを含む前記撮像画像が入力されると、前記撮像画像における前記写り込みの推定値を出力するよう機械学習され、
前記除去対象を除去することは、前記写り込みの前記推定値を用いて、前記撮像画像における前記写り込みを除去することを含む
請求項１に記載の残差推定ネットワークを用いた画質改善方法。
【請求項６】
除去対象を含む入力データが入力されると前記入力データにおける前記除去対象の推定値を出力するよう機械学習された機械学習モデルと、
前記除去対象の前記推定値を用いて、前記入力データの前記除去対象を除去する除去器と、
を備えるコンピュータシステム。
【請求項７】
コンピュータプログラムであって、
除去対象を含む入力データが入力されると前記入力データにおける前記除去対象の推定値を出力するよう機械学習された機械学習モデルに対して、前記入力データを入力することで、前記推定値を得て、
前記推定値を用いて、前記入力データの前記除去対象を除去する
ことをコンピュータに実行させるコンピュータプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、残差推定ネットワークを用いた画質改善方法、コンピュータシステム及びコンピュータプログラムに関する。
続きを表示（約 1,200 文字）【背景技術】
【０００２】
特許文献１は、画像強調のための人工知能技法を開示している。
【先行技術文献】
【特許文献】
【０００３】
特表２０２１－５３４５２０号公報
【発明の概要】
【０００４】
雨画像における雨を除去するなど、除去対象を含む入力データから除去対象を除去したデータを得たいというニーズがある。
【０００５】
入力データから雨などの除去対象を除去するため、深層学習などの機械学習によってトレーニングされたモデルを利用することが考えられる。機械学習されたモデルは、例えば、雨などの除去対象を含む入力データが入力されると、除去対象が除去されたデータを出力するようトレーニングされる。
【０００６】
しかし、除去対象を含む入力データにおいて、除去対象のバリエーションよりも、除去対象以外の部分のバリエーションのほうが大きい場合、モデルが出力するデータの精度が低下し易い。例えば、入力データが撮像対象（背景）に重なって写り込んだ雨を含む雨画像であって、除去対象が雨である場合、除去対象である雨の写り込みの仕方のバリエーションはさほど多くない一方、撮像対象（背景）は多種多様であってバリエーションが非常に大きい。したがって、多くの学習データを用いてトレーニングした後であっても、モデルにとって未知の撮像対象が撮像された画像が、モデルに入力されることがある。
【０００７】
一般的に、機械学習モデルは、学習に用いられていない未知のデータを出力するのは得意ではない。この結果、入力データにおいて除去対象以外の部分が未知であると、モデルの出力データ（除去対象が除去されたデータ）の精度が低下し易い。また、出力データの精度の低下を防止しようとすると、非常に多くの学習データが必要となり、機械学習の手間が増加する。
【０００８】
したがって、入力データから除去対象を除去することに関して、かかる課題の解決が望まれる。
【０００９】
本開示のある側面は、方法である。開示の方法は、コンピュータによって実行される方法であって、除去対象を含む入力データが入力されると前記入力データにおける前記除去対象の推定値を出力するよう機械学習された機械学習モデルである残差推定ネットワークに対して、前記入力データを入力することで、前記推定値を得て、前記推定値を用いて、前記入力データの前記除去対象を除去することを備える、残差推定ネットワークを用いた画質改善方法である。
【００１０】
本開示の他の側面は、コンピュータシステムである。開示のシステムは、除去対象を含む入力データが入力されると前記入力データにおける前記除去対象の推定値を出力するよう機械学習された機械学習モデルと、前記除去対象の前記推定値を用いて、前記入力データの前記除去対象を除去する除去器と、を備える。
（【００１１】以降は省略されています）

関連特許