特許ウォッチ

公開番号2024133725
公報種別公開特許公報(A)
公開日2024-10-02
出願番号2024113591,2019171730
出願日2024-07-16,2019-09-20
発明の名称人工神経網における復号化方法、音声認識装置及び音声認識システム
出願人三星電子株式会社,Samsung Electronics Co.,Ltd.
代理人弁理士法人ITOH
主分類G10L 15/32 20130101AFI20240925BHJP(楽器;音響)
要約【課題】自己回帰に基づくシーケンス生成人工神経網における低い確率トークンの処理方法及び装置が提供される。
【解決手段】人工神経網におけるデコーダは以前に入力された少なくとも1つの入力トークンに基づいて、出力トークンの候補の確率を予測し、予測された確率に基づいて、候補のうち出力トークンを決定し、出力トークンの決定された確率に基づいて出力トークン及び予め定義された特殊トークンのいずれか1つを選択することによって、次の入力トークンを決定する。
【選択図】図1
特許請求の範囲【請求項１】
第１人工神経網における復号化方法において、
以前に入力された少なくとも１つの入力トークンに基づいて、出力トークンの候補の確率を予測するステップと、
前記第１人工神経網と連動する少なくとも１つの第２人工神経網によって予測された前記候補の確率と、前記第１人工神経網によって予測された前記候補の確率との組合せに基づいて、前記候補のうち前記出力トークンを選択するステップと、
前記少なくとも１つの第２人工神経網のうち、前記出力トークンの確率を最も高く判断した人工神経網と前記第１人工神経網との間で前記出力トークンの確率を比較するステップと、
前記比較の結果に基づいて、前記出力トークン及び予め定義された特殊トークンのいずれか１つを選択することによって、前記第１人工神経網の次の入力トークンを決定するステップと、
を含む人工神経網における復号化方法。
続きを表示（約 1,300 文字）【請求項２】
前記次の入力トークンを決定するステップは、
前記出力トークンの確率を最も高く判断した人工神経網と前記第１人工神経網の前記出力トークンの確率の差が予め決定した閾値よりも大きい場合、前記特殊トークンを前記第１人工神経網の前記次の入力トークンとして選択するステップと、
前記出力トークンの確率を最も高く判断した人工神経網と前記第１人工神経網の前記出力トークンの確率の差が予め決定した閾値よりも小さい場合、前記出力トークンを前記第１人工神経網の前記次の入力トークンとして選択するステップと、
を含む、請求項１に記載の人工神経網における復号化方法。
【請求項３】
前記特殊トークンに基づいて予測される次の出力トークンの候補の信頼度は、前記閾値よりも大きい場合、前記出力トークンに基づいて予測される次の出力トークンの候補の信頼度よりも高い、請求項２に記載の人工神経網における復号化方法。
【請求項４】
前記人工神経網の入力レイヤは、前記候補それぞれに対応する複数のノード及び前記特殊トークンに対応する特殊ノードを含む、請求項１－３のうち何れか１項に記載の人工神経網における復号化方法。
【請求項５】
前記少なくとも１つの入力トークンは、前記人工神経網によって予め予測された出力トークン及び前記特殊トークンのうち少なくとも１つを含む、請求項１－３のうち何れか１項に記載の人工神経網における復号化方法。
【請求項６】
前記出力トークンの候補の確率を予測するステップは、前記少なくとも１つの入力トークンと前記出力トークンとの間の相関関係に基づいて、前記出力トークンの候補の確率を予測するステップを含む、請求項１に記載の人工神経網における復号化方法。
【請求項７】
前記少なくとも１つの入力トークン及び前記次の入力トークンに基づいて次の出力トークンを決定するステップをさらに含む、請求項１－６のうち何れか１項に記載の人工神経網における復号化方法。
【請求項８】
前記特殊トークン以外のトークンが前記特殊トークンにアテンションしないように前記特殊トークンをマスキングするステップをさらに含む、請求項１－７のうち何れか１項に記載の人工神経網における復号化方法。
【請求項９】
前記特殊トークンが前記次の入力トークンとして決定された場合、次の出力トークンと前記特殊トークンとの間の相関関係を予め決定した数値以下に設定するステップをさらに含む、請求項１－８のうち何れか１項に記載の人工神経網における復号化方法。
【請求項１０】
前記出力トークンを決定するステップは、
前記出力トークンが前記特殊トークンと同一であるかを判断するステップと、
前記出力トークンが前記特殊トークンと同一である場合、前記候補のうち２番目に確率の高いトークンを前記出力トークンとして決定するステップと、
を含む、請求項１に記載の人工神経網における復号化方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、人工神経網における復号化方法及びその装置に関する。
続きを表示（約 1,300 文字）【背景技術】
【０００２】
長さの決められていないシーケンスを人工神経網の入力として受け、決められていない長さの出力を生成しなければならない問題を解決するための方法として、シーケンスツーシーケンス（ｓｅｑｕｅｎｃｅ－ｔｏ－ｓｅｑｕｅｎｃｅ）モデルの１つであるエンコーダ－デコーダの人工神経網モデルが導入されたが、特に、その中でも決められていない長さの出力を人工神経網に算出するために、１つのシーケンスを構成している単位であるトークン（ｔｏｋｅｎ）ごとに人工神経網の以前出力を入力にして次の出力を続けて出力する方法は、自己回帰（ａｕｔｏ－ｒｅｇｒｅｓｓｉｖｅ）復号化と呼ばれる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の目的は、人工神経網における復号化方法及びその装置を提供する。
【課題を解決するための手段】
【０００４】
一実施形態に係る第１人工神経網における復号化方法は、以前に入力された少なくとも１つの入力トークンに基づいて、出力トークンの候補の確率を予測するステップと、前記予測された確率に基づいて、前記候補のうち前記出力トークンを決定するステップと、前記出力トークンの決定された確率に基づいて、前記出力トークン及び予め定義された特殊トークンのいずれか１つを選択することによって、次の入力トークンを決定するステップとを含む。
【０００５】
前記特殊トークンを次の入力トークンとして決定する場合、前記特殊トークンに基づいて予測される次の出力トークンの候補の信頼度は、前記出力トークンに基づいて予測される次の出力トークンの候補の信頼度よりも高い。
【０００６】
前記出力トークンを決定するステップは、前記第１人工神経網と連動する少なくとも１つの第２人工神経網によって予測された前記候補の確率と、前記第１人工神経網によって予測された前記候補の確率との組合せに基づいて、前記候補のうち前記出力トークンを選択し得る。
【０００７】
前記人工神経網の入力レイヤは、前記候補それぞれに対応する複数のノード及び前記特殊トークンに対応する特殊ノードを含み得る。
【０００８】
前記少なくとも１つの入力トークンは、前記人工神経網によって予め予測された出力トークン及び前記特殊トークンのうち少なくとも１つを含み得る。
【０００９】
前記出力トークンを決定するステップは、前記候補のうち確率が最も高いトークンを選択するステップを含み得る。
【００１０】
前記次の入力トークンを決定するステップは、前記出力トークンの確率と予め決定した閾値確率とを比較するステップと、前記出力トークンの確率が前記閾値確率よりも小さい場合、前記特殊トークンを前記次の入力トークンとして選択するステップと、前記出力トークンの確率が前記閾値確率よりも大きい場合、前記出力トークンを前記次の入力トークンとして選択するステップとを含み得る。
（【００１１】以降は省略されています）

関連特許