特許ウォッチ

公開番号2025075315
公報種別公開特許公報(A)
公開日2025-05-15
出願番号2023186380
出願日2023-10-31
発明の名称情報処理装置、情報処理方法、および、コンピュータプログラム
出願人国立大学法人東海国立大学機構
代理人弁理士法人アルファ国際特許事務所
主分類G06Q 50/10 20120101AFI20250508BHJP(計算;計数)
要約【課題】主観比較評価において、各ペアについての評価数が不均等になることを抑制すると共に、各ペアについての評価数が過大となることを抑制する。
【解決手段】複数の評価者による非同期かつ並行的な主観比較評価を実行する情報処理装置は、評価対象設定部と、評価依頼部と、評価状態更新部とを備える。評価対象設定部は、評価物の各ペアについての主観比較評価の予測値に基づき、主観比較評価の対象となる評価対象ペアを動的に設定する。評価依頼部は、評価対象ペアについての主観比較評価を評価者に依頼する。評価状態更新部は、評価者による評価結果に基づき、評価対象ペアについての評価状態を動的に更新する。
【選択図】図6
特許請求の範囲【請求項１】
複数の評価者による非同期かつ並行的な主観比較評価を実行する情報処理装置であって、
被評価物の各ペアについての前記主観比較評価の予測値に基づき、前記主観比較評価の対象となる評価対象ペアを動的に設定する評価対象設定部と、
前記評価対象ペアについての前記主観比較評価を前記評価者に依頼する評価依頼部と、
前記評価者による評価結果に基づき、前記評価対象ペアについての評価状態を動的に更新する評価状態更新部と、
を備える、情報処理装置。
続きを表示（約 1,300 文字）【請求項２】
請求項１に記載の情報処理装置であって、
前記評価対象設定部は、前記被評価物の各ペアのうち、前記主観比較評価の精度の予測値が最も悪いペアを、前記評価対象ペアとして設定する、情報処理装置。
【請求項３】
請求項１または請求項２に記載の情報処理装置であって、
前記評価対象設定部は、前記被評価物の各ペアについて、前記主観比較評価の依頼数に基づき、前記主観比較評価の精度の予測値を算出する、情報処理装置。
【請求項４】
請求項１または請求項２に記載の情報処理装置であって、
前記評価状態更新部は、前記評価結果を受領した時点で、前記評価対象ペアについての前記評価状態が所定の収束状態であるときには、前記評価対象ペアについての前記評価状態を更新しない、情報処理装置。
【請求項５】
請求項４に記載の情報処理装置であって、
前記評価状態更新部は、前記評価結果を受領した時点で、前記評価対象ペアについての前記評価状態が所定の収束状態であるときには、前記評価結果を破棄せずに保持する、情報処理装置。
【請求項６】
請求項１または請求項２に記載の情報処理装置であって、さらに、
前記主観比較評価における総評価数の上限値を設定する上限設定部と、
前記上限値の回数の評価により達成可能な前記主観比較評価の最低保証精度を設定する精度設定部と、
を備え、
前記最低保証精度が達成された時点で総評価数が前記上限値に達していない場合には、総評価数が前記上限値に達するまで、前記評価対象設定部は、前記被評価物の各ペアについての前記評価状態に基づき前記評価対象ペアを設定する、情報処理装置。
【請求項７】
請求項１または請求項２に記載の情報処理装置であって、
前記評価対象設定部は、被評価物の初期順序を取得し、前記初期順序に基づき前記評価対象ペアを設定する、情報処理装置。
【請求項８】
複数の評価者による非同期かつ並行的な主観比較評価を実行する情報処理方法であって、
被評価物の各ペアについての前記主観比較評価の予測値に基づき、前記主観比較評価の対象となる評価対象ペアを動的に設定する工程と、
前記評価対象ペアについての前記主観比較評価を前記評価者に依頼する工程と、
前記評価者による評価結果に基づき、前記評価対象ペアについての評価状態を動的に更新する工程と、
を備える、情報処理方法。
【請求項９】
複数の評価者による非同期かつ並行的な主観比較評価を実行するためのコンピュータプログラムであって、
コンピュータに、
被評価物の各ペアについての前記主観比較評価の予測値に基づき、前記主観比較評価の対象となる評価対象ペアを動的に設定する処理と、
前記評価対象ペアについての前記主観比較評価を前記評価者に依頼する処理と、
前記評価者による評価結果に基づき、前記評価対象ペアについての評価状態を動的に更新する処理と、
を実行させる、コンピュータプログラム。

発明の詳細な説明【技術分野】
【０００１】
本明細書に開示される技術は、複数の評価者による非同期かつ並行的な主観比較評価を実行する情報処理に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
例えば合成音声といった生成メディアを評価する際に、主観評価が行われる。例えば合成音声の主観評価では、人間の評価者が合成音声のサンプルを聴いてスコアを付ける値評価が行われる。値評価では、各評価者が、例えば「１：非常に悪い」から「５：非常に良い」までの５段階でスコアを付け、全評価者のスコアの平均である平均オピニオンスコア（ＭｅａｎＯｐｉｎｉｏｎＳｃｏｒｅ、略して「ＭＯＳ」）が評価値となる。
【０００３】
値評価では、評価のスケールのみが与えられ、明確な評価基準が決まっていないことが多いため、評価者による評価のバイアスやノイズが大きくなりやすい。そのため、品質の差を識別するために、多くの評価数を集める必要がある。また、例えば近年の機械学習技術の進展によって生成メディアの品質は著しく向上しており、値評価では品質の差を区別できなくなりつつある。
【０００４】
品質の似たものを評価する手法として、比較評価がある。比較評価は、評価者に対して２つのサンプルを提示し、どちらが優れているかを選択してもらう主観評価手法である。比較評価は、値評価と比較して、評価者のバイアスが小さく、少ない評価数で品質の差を区別しやすい。しかしながら、比較評価では、被評価物のペアの組合せが膨大となり、すべてのペアを評価することは困難である。そのため、値評価により大まかな傾向を観測した後、差の小さかったペアのみを取り出して比較評価を行うという二段階評価の手法が採られることが多く、冗長かつ非効率となりやすい。
【０００５】
ある評価精度を達成するために、評価対象とその評価数を効率配分する手法として、オンライン学習がある。オンライン学習アルゴリズムは、評価者による評価結果に基づいて、より品質が似ているもの同士の信頼区間が離れるように評価数を割り当てることにより、品質が近いもの同士の評価の精度を担保する。反対に信頼区間に基づいて評価を打ち切ることにより、品質が他のものと似通っていない評価対象については、最小限の評価数とする。
【０００６】
ＭｅｒｇｅＲａｎｋアルゴリズムは、オンライン学習手法の１つである（例えば、非特許文献１参照）。ＭｅｒｇｅＲａｎｋアルゴリズムは、ソートアルゴリズムに基づき被評価物の全順序を推測することにより、品質の上下を効率よく決定すると共に、マージソートの比較関数を評価者による評価値に変更することにより、比較評価のペアの組合せと、各ペアの評価数を最適化する。オンライン学習を主観評価に導入した場合、評価者による評価に基づき評価対象を動的に決定することで、より効率の高い評価の実現が期待できる。
【先行技術文献】
【非特許文献】
【０００７】
モエイン・ファラハットガー（Moein Falahatgar）、外３名、「ノイズの多い比較下での最大選択とランキング（Maximum Selection and Ranking under Noisy Comparisons）」、Proceedings of Machine Learning Research、２０１７年、７０巻、ｐ．１０８８－１０９６
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来のオンライン学習アルゴリズムは、オフラインデータでの逐次的な実行を前提としている。そのため、従来のオンライン学習アルゴリズムは、そのままでは、クラウドソーシング環境下での主観比較評価に適用することができない。すなわち、クラウドソーシング環境下では、複数の評価者による非同期かつ並行的な評価が実行されるため、評価対象ペアを評価者に提示してから評価者による評価結果が戻ってくるまでに時間がかかる。そのため、被評価物の各ペアのうち、最悪の評価精度を持つペアを評価対象ペアとして設定する単純なアルゴリズムでは、各ペアについての評価数が不均等になるおそれがある。また、各ペアについての評価数が過大となるおそれがある。
【０００９】
例えば、あるペア（ペアＡ）を対象とした評価依頼をある評価者（評価者Ｅ１）に発行した後、次の評価対象ペアを設定する時点において、評価者Ｅ１によるペアＡの評価結果が戻ってきていないと、最悪の評価精度を持つペアはペアＡのままであるため、ペアＡを評価対象とした他の評価者（評価者Ｅ２）への評価依頼が発行されてしまう。その結果、各ペアについての評価数が過度に不均等になるおそれがある。また、評価依頼の発行タイミングと評価結果の受領タイミングとの関係によっては、ペアＡについての評価結果を受領した時点で、ペアＡについての評価状態が収束している可能性がある。その場合には、ペアＡについての評価数が過大となる。
【００１０】
このように、従来のオンライン学習アルゴリズムをクラウドソーシング環境下での主観比較評価に単純に適用すると、各ペアについての評価数が過度に不均等になるおそれがあると共に、各ペアについての評価数が過大となるおそれがあり、その結果、主観比較評価の全体的な精度や効率が低下するおそれがある、という課題がある。
（【００１１】以降は省略されています）

関連特許