特許ウォッチ

公開番号2025076198
公報種別公開特許公報(A)
公開日2025-05-15
出願番号2023188014
出願日2023-11-01
発明の名称周波数損失関数を用いた画質改善方法、コンピュータシステム及びコンピュータプログラム
出願人学校法人立命館,三井E&Sシステム技研株式会社
代理人個人
主分類G06T 1/40 20060101AFI20250508BHJP(計算;計数)
要約【課題】除去対象を除去した生成画像において生成画像がぼやけるのを抑制する画質改善方法を提供する。
【解決手段】除去対象を含む入力画像から入力画像における除去対象が低減された生成画像を出力する画像生成モデル12Bを、損失関数を用いてトレーニングするために、コンピュータシステム10によって実行される画質改善方法であって、損失関数L1は、生成画像rと、生成画像rに対応する正解画像である目的画像gと、の周波数成分における差分に基づく周波数損失関数L_fを含む。
【選択図】図1
特許請求の範囲【請求項１】
除去対象を含む入力画像から前記入力画像における前記除去対象が低減された生成画像を出力する画像生成モデルを、損失関数を用いてトレーニングするために、コンピュータによって実行される方法であって、
前記損失関数は、前記生成画像と、前記生成画像に対応する正解画像と、の周波数成分における差分に基づく周波数損失関数を含む、
周波数損失関数を用いた画質改善方法。
続きを表示（約 1,400 文字）【請求項２】
前記損失関数は、前記周波数損失関数と、前記周波数損失関数以外の損失関数と、のバランスをとるためのハイパーパラメータを更に含む
請求項１に記載の周波数損失関数を用いた画質改善方法。
【請求項３】
前記入力画像は、撮像対象を撮像した撮像画像であり、
前記除去対象は、前記撮像対象に重なって写り込んだ写り込み物であり、
前記正解画像は、前記写り込み物が写り込んでいない前記撮像対象の撮像画像である
請求項１に記載の周波数損失関数を用いた画質改善方法。
【請求項４】
前記入力画像は、撮像面を有する撮像装置によって撮像対象を撮像した撮像画像であり、
前記除去対象は、大気中又は大気中の前記撮像対象と前記撮像面との間の面にある大気以外の異物の写り込み、又は、水中又は水中の前記撮像対象と前記撮像面との間の面にある水以外の異物の写り込み、であり、
前記正解画像は、前記写り込みがない前記撮像対象の撮像画像である
請求項１に記載の周波数損失関数を用いた画質改善方法。
【請求項５】
前記入力画像は、撮像対象を撮像した撮像画像であり、
前記除去対象は、雨、雪、及び水中の粒子のうちの少なくともいずれか一つの写り込みであり、
前記正解画像は、前記写り込みがない前記撮像対象の撮像画像である
請求項１に記載の周波数損失関数を用いた画質改善方法。
【請求項６】
前記周波数損失関数は、前記生成画像及び前記正解画像それぞれを周波数変換して得られた周波数成分のうち、一部の周波数成分を抽出したものに基づく値である
請求項１に記載の周波数損失関数を用いた画質改善方法。
【請求項７】
前記入力画像は、撮像対象を撮像した撮像画像であり、
前記除去対象は、前記撮像対象に重なって写り込んだ写り込み物であり、
前記正解画像は、前記写り込み物が写り込んでいない前記撮像対象の撮像画像であり、
前記周波数損失関数は、前記生成画像及び前記正解画像それぞれを周波数変換して得られた周波数成分のうち、前記生成画像及び前記正解画像における所定の方向の低周波成分を抽出したものに基づく値であり、
前記所定の方向は、前記入力画像における第１方向及び前記第１方向に直交する第２方向のうち、前記写り込み物の主たる移動方向に相当する方向である
請求項１に記載の周波数損失関数を用いた画質改善方法。
【請求項８】
除去対象を含む入力画像から前記入力画像における前記除去対象が低減された生成画像を出力する画像生成モデルを、損失関数を用いてトレーニングするためのコンピュータシステムであって、
前記損失関数は、前記生成画像と、前記生成画像に対応する正解画像と、の周波数成分における差分に基づく周波数損失関数を含む、
コンピュータシステム。
【請求項９】
除去対象を含む入力画像から前記入力画像における前記除去対象が低減された生成画像を出力する画像生成モデルを、損失関数を用いてトレーニングすることをコンピュータに実行させるためのコンピュータプログラムであって、
前記損失関数は、前記生成画像と、前記生成画像に対応する正解画像と、の周波数成分における差分に基づく周波数損失関数を含む、
コンピュータプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、周波数損失関数を用いた画質改善方法、コンピュータシステム及びコンピュータプログラムに関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
特許文献１は、画像強調のための人工知能技法を開示している。
【先行技術文献】
【特許文献】
【０００３】
特表２０２１－５３４５２０号公報
【発明の概要】
【０００４】
画像に写り込んだ雨などの除去対象を含む画像から、雨などの除去対象を除去した鮮明な画像を得たいというニーズがある。
【０００５】
画像から雨などの除去対象を除去するため、深層学習などの機械学習によってトレーニングされた画像生成モデルを利用することが考えられる。画像生成モデルは、例えば、雨などの除去対象を含む画像が入力されると、雨が除去ないし低減された画像を出力するようトレーニングされる。トレーニングには、モデルの出力である生成画像と、正解画像（目的画像）と、に基づく損失関数が用いられる。トレーニングは、例えば、損失関数の値をモデルに逆伝播させることで行われる。
【０００６】
ここで、本発明者らは、画像から雨などの除去対象を除去するために、従来の画像生成モデルを用いると、生成画像がぼやける傾向にあることを見出した。正解画像において、輝度が急激に変化する場所では、生成画像における輝度も急激に変化すべきである。しかし、従来の画像生成モデルでは、正解画像において輝度が急激に変化する場所において、生成画像では輝度の変化が緩やかになりやすく、その結果、生成画像がぼやける。
【０００７】
したがって、除去対象を除去した生成画像において生成画像がぼやけるのを抑制できる手法が望まれる。
【０００８】
本開示のある側面は、方法である。開示の方法は、除去対象を含む入力画像から前記入力画像における前記除去対象が低減された生成画像を出力する画像生成モデルを、損失関数を用いてトレーニングするために、コンピュータによって実行される方法である。開示の方法において、前記損失関数は、前記生成画像と、前記生成画像に対応する正解画像と、の周波数成分における差分に基づく周波数損失関数を含む。なお、本開示における方法は、トレーニング（機械学習）されたモデルを生成するためのものである。したがって、開示の方法は、モデルの生産方法として理解され得る。
【０００９】
本開示の他の側面は、システムである。開示のコンピュータシステムは、除去対象を含む入力画像から前記入力画像における前記除去対象が低減された生成画像を出力する画像生成モデルを、損失関数を用いてトレーニングするためのコンピュータシステムである。開示のシステムにおいて、前記損失関数は、前記生成画像と、前記生成画像に対応する正解画像と、の周波数成分における差分に基づく周波数損失関数を含む。
【００１０】
本開示の他の側面は、コンピュータプログラムである。開示のコンピュータプログラムは、除去対象を含む入力画像から前記入力画像における前記除去対象が低減された生成画像を出力する画像生成モデルを、損失関数を用いてトレーニングすることをコンピュータに実行させるためのコンピュータプログラムである。開示のコンピュータプログラムにおいて、前記損失関数は、前記生成画像と、前記生成画像に対応する正解画像と、の周波数成分における差分に基づく周波数損失関数を含む。
（【００１１】以降は省略されています）

関連特許