特許ウォッチ

公開番号2025099497
公報種別公開特許公報(A)
公開日2025-07-03
出願番号2023216193
出願日2023-12-21
発明の名称情報処理装置、情報処理方法及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06N 3/09 20230101AFI20250626BHJP(計算;計数)
要約【課題】データ処理を目的とするNNにおいて、処理対象のデータが持つビット深度よりも小さいビット深度で量子化しても最終的なデータの劣化を抑制する。
【解決手段】情報処理装置は、ニューラルネットワークによって対象データを処理する情報処理装置であって、前記対象データを取得する入力データ取得手段と、教師データを取得する教師データ取得手段と、前記ニューラルネットワークに前記対象データを入力して処理することで得られた出力データと前記教師データとの誤差が小さくなるように学習して、前記ニューラルネットワークのパラメタを更新する学習手段と、を備え、前記教師データ取得手段は、前記教師データのビット深度が前記対象データの第1ビット深度よりも小さい第2ビット深度である場合、前記対象データの特性に合わせた分解能で前記教師データの値を変換する深度変換処理がされた前記教師データを取得する。
【選択図】図2
特許請求の範囲【請求項１】
ニューラルネットワークによって対象データを処理する情報処理装置であって、
前記対象データを取得する入力データ取得手段と、
教師データを取得する教師データ取得手段と、
前記ニューラルネットワークに前記対象データを入力して処理することで得られた出力データと前記教師データとの誤差が小さくなるように学習して、前記ニューラルネットワークのパラメタを更新する学習手段と、
を備え、
前記教師データ取得手段は、前記教師データのビット深度が前記対象データの第１ビット深度よりも小さい第２ビット深度である場合、前記対象データの特性に合わせた分解能で前記教師データの値を変換する深度変換処理がされた前記教師データを取得する
ことを特徴とする情報処理装置。
続きを表示（約 960 文字）【請求項２】
前記学習手段でパラメタが更新された前記ニューラルネットワークを量子化する量子化手段を備えることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記ニューラルネットワークの量子化パラメタを取得する量子化パラメタ取得手段を備え、
前記量子化手段は、前記量子化パラメタに基づいて前記ニューラルネットワークを量子化する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記学習手段は、前記量子化されたニューラルネットワークのパラメタを更新する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記ニューラルネットワークが推論した対象データのビット深度を前記第２ビット深度から前記第１ビット深度へと変換する場合、前記深度変換処理とは逆の手順で前記対象データの値を変換する深度変換手段と、
前記第１ビット深度の前記対象データの値を分解能に応じて変更するデータ変更手段と、
を備えることを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記深度変換処理において、前記データ変更手段の用いる分解能に対応する分解能に基づいて、前記対象データの値を変更する
ことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記教師データ取得手段は、前記対象データの値の特性に合わせた分解能を反映したルックアップテーブルによって前記対象データの値を変更する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記教師データ取得手段は、前記対象データの値の分解能に応じた数式によって前記教師データの値を変更する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記量子化手段は、前記第２ビット深度に前記ニューラルネットワークを量子化する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項１０】
前記対象データ及び前記教師データは、画像データである
ことを特徴とする請求項１に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関するものである。
続きを表示（約 2,700 文字）【背景技術】
【０００２】
近年画像の画質を向上させる画像処理技術などのデータ処理において、ニューラルネットワーク（ＮｅｕｒａｌＮｅｔｗｏｒｋ、以下ＮＮ）を用いた手法が盛んに開発されている。例えばノイズ除去、ブラー除去、超解像などの高画質化画像処理を、ＮＮを用いて実現する技術が存在する（非特許文献１）。
【０００３】
昨今のＮＮはレイヤ数が多く計算量が大きいため、学習時には高速な計算機が用いられる。しかし、学習後の推論におけるデータ処理では、計算資源が限られている場合も多く、より効率のよい演算方法が求められる。
【０００４】
効率のよい推論時の演算方法として、ＮＮの重み及び特徴量を低精度の数値に量子化して演算する方法が知られている（非特許文献２）。量子化することで、組み込み機器のような計算リソースの乏しい機器でも動作させることができる。また、汎用の計算機であっても、ＮＮの重みなどを量子化することでＳＩＭＤ（ＳｉｎｇｌｅＩｎｓｔｒｕｃｔｉｏｎＭｕｌｔｉｐｌｅＤａｔａ）命令のような高スループットの演算命令を利用できる場合があり、高速化が見込める。
【先行技術文献】
【非特許文献】
【０００５】
ＲＥＳＴＯＲＭＥＲ: ＥＦＦＩＣＩＥＮＴＴＲＡＮＳＦＯＲＭＥＲｆｏｒＨｉｇｈ―ＲｅｓｏｌｕｔｉｏｎＩｍａｇｅＲｅｓｔｏｒａｔｉｏｎ, ＩｎｃｅｐｔｉｏｎＩｎｓｔｉｔｕｔｅｏｆＡＩ, Ｎｏｖ, １８, ２０２１,［令和５年１２月１３日検索］、インターネット＜ＵＲＬ：https://openaccess.thecvf.com/content/CVPR2022/papers/Zamir_Restormer_Efficient_Transformer_for_High-Resolution_Image_Restoration_CVPR_2022_paper.pdf＞
８－ｂｉｔＩｎｆｅｒｅｎｃｅｗｉｔｈＴｅｎｓｏｒＲＴＳｚｙｍｏｎＭｉｇａｃｚ，ＮＶＩＤＩＡ，Ｍａｙ８, ２０１７，［令和５年１２月１３日検索］、インターネット＜ＵＲＬ：https://on-demand.gputechconf.com/gtc/2017/presentation/s7310-8-bit-inference-with-tensorrt.pdf＞
ＤｅｌｖｉｎｇＤｅｅｐｉｎｔｏＲｅｃｔｉｆｉｅｒｓ：ＳｕｒｐａｓｓｉｎｇＨｕｍａｎ－ＬｅｖｅｌＰｅｒｆｏｒｍａｎｃｅｏｎＩｍａｇｅＮｅｔＣｌａｓｓｉｆｉｃａｔｉｏｎ，ＫａｉｍｉｎｇＨｅ，ＸｉａｎｇｙｕＺｈａｎｇ，ＳｈａｏｑｉｎｇＲｅｎ，ＪｉａｎＳｕｎ；ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ（ＩＣＣＶ），２０１５，ｐｐ．１０２６－１０３４．［令和５年１２月１３日検索］、インターネット＜ＵＲＬ：https://arxiv.org/pdf/1502.01852.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ＮＮの重み及び特徴量などを低精度の数値に量子化することで、ＮＮが出力する画像の解像度などのデータの精度は一般的に低下する。特に本来のデータが持つビット深度よりも小さいビット深度で重みなどを量子化する場合、出力する画像の階調などのデータの精度が粗くなり、その劣化は顕著に表れる。例えば高画質化画像処理を目的とするＮＮで言えば、対象であるＮＮへの入力画像が１２ｂｉｔ～１４ｂｉｔのＲＡＷ画像の場合、ＮＮの重み及び特徴量などを８ｂｉｔに量子化すると、ＮＮが出力する高画質化画像も８ｂｉｔで出力されるので、本来の画像の階調を表現できない。ＲＡＷ画像は最終的には現像処理によって８ｂｉｔのＪＰＥＧ画像などに変換するが、元画像であるＲＡＷ画像の階調が粗くなってしまっているため、変換される８ｂｉｔのＪＰＥＧ画像も結果的に階調が粗くなり、画質が劣化した画像を出力してしまう。
【０００７】
本発明は、高画質化画像処理などのデータ処理を目的とするＮＮにおいて、処理対象のデータが持つビット深度よりも小さいビット深度で量子化しても最終的なデータの劣化を抑制することを目的とする。
【課題を解決するための手段】
【０００８】
この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、
ニューラルネットワークによって対象データを処理する情報処理装置であって、
前記対象データを取得する入力データ取得手段と、
教師データを取得する教師データ取得手段と、
前記ニューラルネットワークに前記対象データを入力して処理することで得られた出力データと前記教師データとの誤差が小さくなるように学習して、前記ニューラルネットワークのパラメタを更新する学習手段と、
を備え、
前記教師データ取得手段は、前記教師データのビット深度が前記対象データの第１ビット深度よりも小さい第２ビット深度である場合、前記対象データの特性に合わせた分解能で前記教師データの値を変換する深度変換処理がされた前記教師データを取得する
ことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、高画質化画像処理などのデータ処理を目的とするＮＮにおいて、処理対象のデータが持つビット深度よりも小さいビット深度で量子化しても最終的なデータの劣化を抑制できる。
【図面の簡単な説明】
【００１０】
第１実施形態の情報処理装置のハードウェア構成を例示するブロック図。
第１実施形態の情報処理装置の機能構成を例示する機能ブロック図。
第１実施形態のビット深度変換及び階調変換に用いられるルックアップテーブルとトーンカーブの一例。
第１実施形態のＮＮのモデルの一例。
第１実施形態のＮＮの学習処理の例を表すフローチャート。
第１実施形態のＮＮの推論および現像処理の例を表すフローチャート。
第２実施形態のビット深度変換及び階調変換に用いられる数式とトーンカーブの一例。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許