TOP特許意匠商標
特許ウォッチ Twitter
10個以上の画像は省略されています。
公開番号2024161590
公報種別公開特許公報(A)
公開日2024-11-19
出願番号2024144385,2023503533
出願日2024-08-26,2021-03-01
発明の名称支援装置、支援方法およびプログラム
出願人日本電信電話株式会社
代理人個人,個人,個人
主分類G06N 20/00 20190101AFI20241112BHJP(計算;計数)
要約【課題】教師データの確認作業をより効率的に行うことができる支援装置、支援方法およびプログラムを提供する。
【解決手段】支援装置(10)は、要素と、要素に対応する正解ラベルとが対応付けられた教師データを用いて学習された、要素に対応するラベルを推論するモデルを用いて、教師データを構成する要素に対応するラベルである推論ラベルを推論するラベル推論部(12)と、教師データを構成する要素、要素の正解ラベル及び要素の推論ラベルを含む教師データ確認画面を、教師データを作成した教師データ作成者ごとに生成する評価部(17)と、を備える。
【選択図】図2
特許請求の範囲【請求項1】
要素と、前記要素に対応する正解ラベルとの組からなる教師データの確認を支援する支援装置であって、
前記教師データを用いて学習された、前記要素に対応するラベルを推論するモデルを用いて、前記教師データを構成する要素に対応するラベルである推論ラベルを推論するラベル推論部と、
前記教師データを構成する要素と、前記要素の正解ラベルと、前記要素の推論ラベルとを含む、教師データ確認画面を、前記教師データを作成した教師データ作成者ごとに生成する評価部と、を備える支援装置。
続きを表示(約 1,100 文字)【請求項2】
請求項1に記載の支援装置において、
前記評価部は、前記教師データを構成する要素に対応する前記正解ラベルと前記推論ラベルとを対比可能に示す、前記教師データ確認画面を生成する、支援装置。
【請求項3】
請求項1または2に記載の支援装置において、
前記教師データは、系列的な複数の要素からなる要素群を複数含み、
前記評価部は、要素群ごとに、当該要素群を構成する要素の正解ラベルと、前記推論ラベルとの差異を評価し、評価結果の悪い前記要素群から順に確認可能となるように、要素群ごとの前記教師データ確認画面を生成する、支援装置。
【請求項4】
請求項1から3のいずれか一項に記載の支援装置において、
前記評価部は、前記教師データを構成する要素ごとに、前記正解ラベルと前記推論ラベルとが異なるパターンである差異パターンのうち、出現回数の多い差異パターンを含む要素から順に確認可能となるように、前記教師データ確認画面を生成する、支援装置。
【請求項5】
請求項1から4のいずれか一項に記載の支援装置において、
前記モデルにより推論されたラベルが予め定められた規則により誤りであると判定される要素を除外する推論誤り除外部をさらに備える、支援装置。
【請求項6】
請求項1から5に記載の支援装置において、
前記評価部は、前記正解ラベルと、前記推論ラベルとが異なる複数の前記要素について、前記要素ごとの前記教師データ確認画面が切り替え可能となるように、前記教師データ確認画面を生成する、支援装置。
【請求項7】
請求項1から5のいずれか一項に記載の支援装置において、
前記評価部は、前記正解ラベルと、前記推論ラベルとが異なる要素および前記要素の前後の要素を含む前記教師データ確認画面を生成する、支援装置。
【請求項8】
要素と、前記要素に対応する正解ラベルとの組からなる教師データの確認を支援する支援方法であって、
前記教師データを用いて学習された、前記要素に対応するラベルを推論するモデルを用いて、前記教師データを構成する要素に対応するラベルである推論ラベルを推論するステップと、
前記教師データを構成する要素と、前記要素の正解ラベルと、前記要素の推論ラベルとを含む、教師データ確認画面を、前記教師データを作成した教師データ作成者ごとに生成するステップと、を含む支援方法。
【請求項9】
コンピュータを、請求項1から7のいずれか一項に記載の支援装置として機能させるためのプログラム

発明の詳細な説明【技術分野】
【0001】
本開示は、支援装置、支援方法およびプログラムに関する。
続きを表示(約 2,500 文字)【背景技術】
【0002】
近年、コンタクトセンタにおける応対品質の向上を目的として、通話内容をリアルタイムに音声認識し、自然言語処理技術を駆使して応対中のオペレータに適切な情報を自動的に提示するシステムが提案されている。
【0003】
例えば、非特許文献1には、オペレータとカスタマとの対話において、予め想定される質問事項とその質問事項に対する回答(FAQ)とをオペレータに提示する技術が開示されている。この技術では、オペレータとカスタマとの対話が音声認識され、話者が話し終わったかを判定する「話し終わり判定」により、意味的なまとまりのある発話テキストに変換される。次に、発話テキストに対応する発話が、オペレータによる挨拶、カスタマの用件の確認、用件への対応あるいは対話のクロージングといった、対話におけるどの応対シーンでの発話であるかを推定する「応対シーン推定」が行われる。「応対シーン推定」により対話の構造化が行われる。「応対シーン推定」の結果から、カスタマの用件を含む発話あるいはオペレータがカスタマの用件を確認する発話を抽出する「FAQ検索発話判定」が行われる。予め用意されたFAQのデータベースに対して、「FAQ検索発話判定」により抽出された発話に基づく検索クエリを用いた検索が行われ、検索結果がオペレータに提示される。
【0004】
上述した「話し終わり判定」、「応対シーン推定」および「FAQ検索発話判定」には、発話テキストに対して、発話を区分するラベルが付与された教師データを、深層ニューラルネットワークなどを用いて学習することで構築されたモデルが用いられる。したがって、「話し終わり判定」、「応対シーン推定」および「FAQ検索発話判定」は、系列的な要素(対話における発話)にラベル付けする系列ラベリング問題として捉えることができる。非特許文献2には、系列的な発話に、その発話が含まれる応対シーンに対応するラベルを付与した大量の教師データを、長短期記憶を含む深層ニューラルネットワークにより学習することで、応対シーンを推定する技術が記載されている。
【先行技術文献】
【非特許文献】
【0005】
長谷川隆明, 関口裕一郎, 山田節夫, 田本真詞, “オペレータの応対を支援する自動知識支援システム,” NTT技術ジャーナル, vol.31, no.7, pp.16-19, Jul. 2019.
R. Masumura, S. Yamada, T. Tanaka, A. Ando, H. Kamiyama, and Y. Aono, “Online Call Scene Segmentation of Contact Center Dialogues based on Role Aware Hierarchical LSTM-RNNs,” Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC), Nov. 2018.
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述した非特許文献1,2に記載の技術では、推定精度を実用に耐えうる水準にするためには、大量の教師データが必要となる。例えば、非特許文献1によれば、1000通話程度のコールセンタの対話ログから教師データを作成してモデルを学習することで、高い推定精度を得ることができる。教師データは、作業者(教師データ作成者)が、発話音声の音声認識により得られた発話テキストを参照しながら、各発話テキストにラベルを付与することで作成される。
【0007】
教師データは、その教師データを用いて学習されるモデルの適用先(例えば、コンタクトセンタの業界ごと)に合わせて作成する必要がある。上述したように、高い推定精度を得るためには、大量の教師データが必要となることから、ラベルを付与する教師データの作成作業は、複数の作業者により行われることが多い。ここで、作業者ごとに、経験あるいはラベル付与の細かなポリシーが異なることから、同じ内容の発話であっても、異なるラベルが付与されてしまうという、ラベル付与のブレが生じることがある。教師データにラベルのブレが生じると、その教師データを用いて学習したモデルの推定精度の低下を招いてしまうため、近い内容の発話に対しては同じラベルが一貫して付与されているかを確認する必要がある。しかしながら、効率的に教師データの確認が可能な技術は確立されておらず、有識者の暗黙知による分析あるいはトライアンドエラーの繰り返しが必要となってしまう。
【0008】
したがって、発話テキストなどの要素にラベルを付与する教師データの作成において、教師データの確認作業をより効率的に行うことができる技術が求められている。
【0009】
上記のような問題点に鑑みてなされた本開示の目的は、教師データの確認作業をより効率的に行うことができる支援装置、支援方法およびプログラムを提供することにある。
【課題を解決するための手段】
【0010】
上記課題を解決するため、本開示に係る支援装置は、要素と、前記要素に対応する正解ラベルとの組からなる教師データの確認を支援する支援装置であって、前記教師データを用いて学習された、前記要素に対応するラベルを推論するモデルを用いて、前記教師データを構成する要素に対応するラベルである推論ラベルを推論するラベル推論部と、前記教師データを構成する要素と、前記要素の正解ラベルと、前記要素の推論ラベルとを含む、教師データ確認画面を、前記教師データを作成した教師データ作成者ごとに生成する評価部と、を備える。
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する
Flag Counter

関連特許

日本電信電話株式会社
折り紙
4日前
日本電信電話株式会社
部分グラフ数え上げ方法、部分グラフ数え上げ装置及びプログラム
4日前
日本電信電話株式会社
支援装置、支援方法およびプログラム
6日前
個人
認証システム
4日前
個人
GPSロガー
2か月前
個人
デトろぐシステム
2か月前
個人
マウス用テーブル
1か月前
個人
管理装置
1か月前
個人
鑑定証明システム
4日前
個人
契約管理サーバ
1か月前
個人
管理装置
1か月前
個人
人的価値発掘システム
1か月前
個人
業界地図作成システム
28日前
個人
特徴検討支援システム
1か月前
アズビル株式会社
防爆装置
1か月前
キヤノン電子株式会社
情報処理装置
1か月前
株式会社宗建
SNSサーバー
1か月前
株式会社セガフェイブ
遊戯機
1か月前
個人
技術マッチングシステム
10日前
個人
配送システムおよび同包箱
1か月前
株式会社テクロス
情報処理装置
1か月前
ミサワホーム株式会社
システム
1か月前
ミサワホーム株式会社
管理装置
1か月前
株式会社ジール
文章の分析装置
1か月前
株式会社ネットブリッジ
展示販売装置
5日前
キヤノン株式会社
印刷制御装置
19日前
個人
選択操作音声出力システム
1か月前
個人
文字入力方法、文字入力プログラム
11日前
大同特殊鋼株式会社
棒材計数装置
1か月前
トヨタ自動車株式会社
車両
1か月前
ミサワホーム株式会社
プログラム
4日前
株式会社野村総合研究所
検証装置
1か月前
アスエネ株式会社
森林管理の方法
1か月前
株式会社奥村組
削孔位置検出方法
1か月前
個人
動作のデザイン評価の方法及び装置
1か月前
オムロン株式会社
認証中継サーバ
1か月前
続きを見る