特許ウォッチ

公開番号2025115375
公報種別公開特許公報(A)
公開日2025-08-06
出願番号2024228231
出願日2024-12-25
発明の名称データ処理方法、データ処理装置及びコンピュータプログラム製品
出願人株式会社NTTドコモ
代理人インフォート弁理士法人
主分類G06N 3/0455 20230101AFI20250730BHJP(計算;計数)
要約【課題】入力データのデータ長が長い際の出力データの質を向上させるデータ処理方法、データ処理装置及びプログラムを提供する。
【解決手段】第1のニューラルネットワークモデルが、入力データに基づいて、其々が1つの所定の分布曲線上の1つの数値位置に対応する1より大きい第1数の第1の隠れ状態ベクトルを生成するステップと、1つの所定の分布曲線上の1つの数値位置に対応する第1数の第1の隠れ状態ベクトルを、其々1つの所定の分布曲線にマッピングするステップと、第1数の所定の分布曲線の各々に対してサンプリングして、第1数の数値を含み、数値の夫々が1つの所定の分布曲線上の1つの数値位置に対応する第1数値グループを取得するステップと、第2のニューラルネットワークモデルが、第1数値グループに基づいて出力データを生成するステップと、を含み、第1数の第1の隠れ状態ベクトルの各々は、入力データに含まれる情報の一部を表す。
【選択図】図2
特許請求の範囲【請求項１】
第１のニューラルネットワークモデルが、入力データに基づいて、１より大きい第１数の第１の隠れ状態ベクトルを生成するステップと、
前記第１数の第１の隠れ状態ベクトルを、それぞれ前記第１数的所定の分布曲線にマッピングするステップであって、前記第１数の第１の隠れ状態ベクトルの各々は、１つの所定の分布曲線上の１つの数値位置に対応するステップと、
前記第１数の所定の分布曲線の各々に対してサンプリングして、第１数値グループを取得するステップであって、前記第１数値グループは、前記第１数の数値を含み、前記数値のそれぞれは、１つの所定の分布曲線上の１つの数値位置に対応するステップと、
第２のニューラルネットワークモデルが、前記第１数値グループに基づいて出力データを生成するステップと、を含み、
前記第１数の第１の隠れ状態ベクトルの各々は、前記入力データに含まれる情報の一部を表し、
第１の隠れ状態ベクトルのそれぞれが表す情報は、完全に重ならない、データ処理方法。
続きを表示（約 940 文字）【請求項２】
前記第１のニューラルネットワークモデルは、
前記入力データを符号化して、第２の隠れ状態ベクトルを生成する符号化部と、
前記第２の隠れ状態ベクトルに含まれる情報の一部を抽出し、第１の隠れ状態ベクトルのそれぞれを生成する前記第１数の情報抽出部と、を含む、請求項１に記載のデータ処理方法。
【請求項３】
前記情報抽出部は、アテンション機構を利用して前記第１の隠れ状態ベクトルを生成する、請求項２に記載のデータ処理方法。
【請求項４】
前記第１数の第１の隠れ状態ベクトルは、可逆的な生成モデルによって、前記第１数の所定の分布曲線にそれぞれマッピングされる、請求項１に記載のデータ処理方法。
【請求項５】
前記可逆的な生成モデルは、フローベースモデル或いは拡散モデルである、請求項４に記載のデータ処理方法。
【請求項６】
前記第１数の第１の隠れ状態ベクトルは、変分オートエンコーダによって、前記第１数の所定の分布曲線にそれぞれマッピングされる、請求項１に記載のデータ処理方法。
【請求項７】
前記入力データは、テキストデータである、請求項１から請求項６のいずれか一項に記載のデータ処理方法。
【請求項８】
前記第１数値グループは、前記入力データの前記第１数の所定の分布曲線上の数値位置に対応する数値グループと異なる、請求項１から請求項６のいずれか一項に記載のデータ処理方法。
【請求項９】
プロセッサと、
１つ又は複数のコンピュータプログラムが記憶されたメモリと、を含み、
前記１つ又は複数のコンピュータプログラムが前記プロセッサによって実行される場合、請求項１から８のいずれか一項に記載のデータ処理方法が前記プロセッサによって実行される、データ処理装置。
【請求項１０】
コンピュータプログラムを含むコンピュータプログラム製品であって、
コンピュータプログラムがプロセッサによって実行される場合、請求項１から８のいずれか一項に記載のデータ処理方法が実施される、コンピュータプログラム製品。

発明の詳細な説明【技術分野】
【０００１】
本開示は、データ処理分野に関し、より具体的には、データ処理方法、データ処理装置、コンピュータプログラム製品に関し、データ拡張に利用され得る。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
現在、ディープラーニングモデル（ＤｅｅｐＬｅａｒｎｉｎｇＭｏｄｅｌ）は多くの分野で成果を上げているが、ディープラーニングモデルをトレーニングするには大量のラベル付きデータに依存するので、ラベル付きデータの不足やデータの分布の不均衡によりディープラーニングモデルの性能低下の問題が発生してしまうことが多い。データ拡張（ＤａｔａＡｕｇｍｅｎｔａｔｉｏｎ）は、トレーニングデータを自動的に拡張する技術であり、ラベル付きデータを取得する際のコストを削減することで、ディープラーニングモデルの性能を向上させることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本開示の目的は、入力データに基づいて、当該入力データに対応する異なる出力データを生成し、出力データの多様性を確保しつつ、入力データのデータ長が長い際の出力データの質を向上させることができるデータ処理方法、データ処理装置、コンピュータプログラム製品を提供することにある。
【課題を解決するための手段】
【０００４】
本開示の一態様によれば、第１のニューラルネットワークモデルが、入力データに基づいて、１より大きい第１数の第１の隠れ状態ベクトルを生成するステップと、前記第１数の第１の隠れ状態ベクトルを、それぞれ前記第１数的所定の分布曲線にマッピングするステップであって、前記第１数の第１の隠れ状態ベクトルの各々は、１つの所定の分布曲線上の１つの数値位置に対応するステップと、前記第１数の所定の分布曲線の各々に対してサンプリングして、第１数値グループを取得するステップであって、前記第１数値グループは、前記第１数の数値を含み、前記数値のそれぞれは、１つの所定の分布曲線上の１つの数値位置に対応するステップと、第２のニューラルネットワークモデルが、前記第１数値グループに基づいて出力データを生成するステップとを含み、前記第１数の第１の隠れ状態ベクトルの各々は、前記入力データに含まれる情報の一部を表し、第１の隠れ状態ベクトルのそれぞれが表す情報は、完全に重なるではないデータ処理方法を提供する。
【０００５】
本開示の一実施例によれば、前記第１のニューラルネットワークモデルは、前記入力データを符号化（Ｅｎｃｏｄｅ）し、第２の隠れ状態ベクトルを生成する符号化部と、前記第２の隠れ状態ベクトルに含まれる情報の一部を抽出し、第１の隠れ状態ベクトルのそれぞれを生成する前記第１数の情報抽出部と、を含む。
【０００６】
本開示の一実施例によれば、前記情報抽出部は、アテンション（Ａｔｔｅｎｔｉｏｎ）機構を利用して前記第１の隠れ状態ベクトルを生成する。
【０００７】
本開示の一実施例によれば、前記第１数の第１の隠れ状態ベクトルは、可逆的な生成モデル（ＩｎｖｅｒｔｉｂｌｅＧｅｎｅｒａｔｉｖｅＭｏｄｅｌ）によって、前記第１数の所定の分布曲線にそれぞれマッピングされる。
【０００８】
本開示の一実施例によれば、前記可逆的な生成モデルは、フローベースモデル（Ｆｌｏｗ－ＢａｓｅｄＭｏｄｅｌ）或いは拡散モデル（ＤｉｆｆｕｓｉｏｎＭｏｄｅｌ）である。
【０００９】
本開示の一実施例によれば、前記第１数の第１の隠れ状態ベクトルは、変分オートエンコーダ（ＶａｒｉａｔｉｏｎａｌＡｕｔｏＥｎｃｏｄｅｒ、ＶＡＥ）によって、前記第１数の所定の分布曲線にそれぞれマッピングされる。
【００１０】
本開示の一実施例によれば、前記入力データは、テキストデータである。
（【００１１】以降は省略されています）

関連特許