特許ウォッチ

公開番号2025140117
公報種別公開特許公報(A)
公開日2025-09-29
出願番号2024039299
出願日2024-03-13
発明の名称情報処理システム、情報処理装置、情報処理方法、及び音声入力制御プログラム
出願人シャープ株式会社
代理人個人,個人,個人
主分類H04N 7/15 20060101AFI20250919BHJP(電気通信技術)
要約【課題】会議と無関係の発言や別の参加者の発言中の誤ったミュート解除を抑制し、会議を対象とする意図がある発言の際にミュート自動解除が遅れても入力音声内容を各参加者が視認可能なシステム、装置、方法及びプログラムを提供する。
【解決手段】情報処理システム1において、各端末装置200は、音声入力部25、第1通信部290、音声データ制御部211e、ミュート状態検出部211f及びミュート状態制御部211gを有する。情報処理システム100の第2通信部140は、意図解析処理部113の判定結果と他者発言判定部115の判定結果とを、第1端末装置へ送信するとともに、文字データを少なくとも第1端末装置及び第2端末装置へ送信する。音声に会議を対象とする意図があり、且つ、音声データを受信中ではない場合に、第1端末のミュート状態制御部はミュート状態を解除し、各端末装置の表示制御部は文字データを表示部230に表示させる。
【選択図】図1
特許請求の範囲【請求項１】
第１端末装置及び第２端末装置を含む複数の端末装置と情報処理装置とを備える情報処理システムであって、
前記端末装置は、
会議の参加者の音声が入力される音声入力部と、
前記情報処理装置との間で通信を行う第１通信部と、
前記音声入力部へ入力された前記音声に対応する音声データを前記情報処理装置へ送信する音声データ制御部と、
実行中の会議アプリケーションがミュート状態であるか否かを検出するミュート状態検出部と、
前記会議アプリケーションの前記ミュート状態の切り替えを制御するミュート状態制御部と、
表示部と、
前記表示部を制御する表示制御部と
を有し、
前記情報処理装置は、
前記端末装置の前記第１通信部との間で通信を行う第２通信部と、
前記ミュート状態である前記第１端末装置の前記第１通信部から前記第２通信部が受信した前記音声データを文字データに変換し、前記文字データを解析して、前記音声に前記会議を対象とする意図があるか否かを判定する意図解析処理部と、
前記ミュート状態が解除された前記第２端末装置から前記第２通信部が前記音声データを受信中であるか否かを判定する他者発言判定部と
を有し、
前記第２通信部は、前記意図解析処理部の第１判定結果と、前記他者発言判定部の第２判定結果とを前記第１端末装置へ送信するとともに、前記文字データを少なくとも前記第１端末装置及び前記第２端末装置へ送信し、
前記第１判定結果が前記音声に前記会議を対象とする意図があることを示し、且つ前記第２判定結果が前記音声データを受信中ではないことを示す場合に、前記第１端末装置の前記ミュート状態制御部は、前記ミュート状態を解除し、前記第１端末装置及び前記第２端末装置の各前記表示制御部は、前記文字データを前記表示部に表示させる、情報処理システム。
続きを表示（約 2,200 文字）【請求項２】
前記第１判定結果が前記音声に前記会議を対象とする意図があることを示し、且つ前記第２判定結果が前記音声データを受信中であることを示す場合に、前記第１端末装置の前記表示制御部は、前記ミュート状態の解除を促す通知を前記表示部に表示させ、前記第２端末装置の前記表示制御部は、前記文字データを前記表示部に表示させる、請求項１に記載の情報処理システム。
【請求項３】
前記情報処理装置は、前記会議のタイトル、前記文字データ、及び前記会議に使用される資料の少なくとも１つから抽出されたキーワードを記憶する記憶部をさらに備え、
前記意図解析処理部は、前記文字データと前記記憶部に記憶されている前記キーワードとに基づいて、前記音声に前記会議を対象とする意図があるか否かを判定する、請求項１又は請求項２に記載の情報処理システム。
【請求項４】
第１端末装置を含む複数の端末装置と情報処理装置とを備える情報処理システムであって、
前記端末装置は、
会議の参加者の音声が入力される音声入力部と、
前記情報処理装置との間で通信を行う第１通信部と、
前記音声入力部へ入力された前記音声に対応する音声データを前記情報処理装置へ送信する音声データ制御部と、
実行中の会議アプリケーションがミュート状態であるか否かを検出するミュート状態検出部と、
前記会議アプリケーションの前記ミュート状態の切り替えを制御するミュート状態制御部と、
表示部と、
前記表示部を制御する表示制御部と
を有し、
前記情報処理装置は、
前記端末装置の前記第１通信部との間で通信を行うとともに、前記ミュート状態である前記第１端末装置から前記音声データを受信したことを検出する第２通信部と、
前記音声データを文字データに変換する音声認識部と
を有し、
前記第２通信部が前記第１端末装置から前記音声データを受信したことを検出した第１の場合に、前記第２通信部は、前記音声データから変換された前記文字データを他の各前記端末装置へ送信し、他の各前記端末装置の前記表示制御部は、前記第１端末装置で前記音声が入力されたことを示す情報及び前記文字データを前記表示部に表示させる、情報処理システム。
【請求項５】
前記第１の場合であっても、前記第１端末装置の前記ミュート状態がユーザによって解除されたことが前記ミュート状態検出部によって検出されたときは、各前記表示制御部は、前記文字データを表示させない、請求項４に記載の情報処理システム。
【請求項６】
会議の参加者の音声が入力される音声入力部をそれぞれ有する、第１端末装置及び第２端末装置を含む複数の端末装置のうちで、実行中の会議アプリケーションがミュート状態である前記第１端末装置から前記音声に対応して出力される音声データを受信する第２通信部と、
前記音声データを文字データに変換し、前記文字データを解析して、前記音声に前記会議を対象とする意図があるか否かを判定する意図解析処理部と、
前記ミュート状態が解除された前記第２端末装置から前記第２通信部が前記音声データを受信中であるか否かを判定する他者発言判定部と
を備え、
前記第２通信部は、前記意図解析処理部の第１判定結果と、前記他者発言判定部の第２判定結果とを前記第１端末装置へ送信するとともに、前記文字データを少なくとも前記第１端末装置及び前記第２端末装置へ送信する、情報処理装置。
【請求項７】
会議の参加者の音声が入力される音声入力部をそれぞれ有する、第１端末装置及び第２端末装置を含む複数の端末装置のうちで、実行中の会議アプリケーションがミュート状態である前記第１端末装置から前記音声に対応して出力される音声データを受信する工程と、
前記音声データを文字データに変換し、前記文字データを解析して、前記音声に前記会議を対象とする意図があるか否かを判定する第１判定を行う工程と、
前記ミュート状態が解除された前記第２端末装置から前記音声データを受信中であるか否かを判定する第２判定を行う工程と、
前記第１判定の結果と前記第２判定の結果と前記文字データとを前記端末装置へ送信する工程と、
前記第１判定の結果が前記音声に前記会議を対象とする意図があることを示し、且つ前記第２判定の結果が前記音声データを受信中ではないことを示す場合に、前記第１端末装置の前記ミュート状態を解除するとともに、前記第１端末装置及び前記第２端末装置に前記文字データを表示する工程と
を含む、情報処理方法。
【請求項８】
端末装置の音声入力制御をコンピュータに実行させる音声入力制御プログラムであって、
前記音声入力制御は、
実行中の会議アプリケーションがミュート状態であるか否かを検出する工程と、
会議の参加者より入力された音声に対応する音声データを送信する工程と、
前記音声に前記会議を対象とする意図があると判定され、且つ情報処理装置が他の前記端末装置からの前記音声データの受信中ではないと判定された場合に、前記ミュート状態を解除するとともに、前記音声データから変換された文字データを表示する工程と
を含む、音声入力制御プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、情報処理システム、情報処理装置、情報処理方法、及び音声入力制御プログラムに関する。
続きを表示（約 3,300 文字）【背景技術】
【０００２】
特許文献１には、電子会議中の音声データを常に蓄積し、マイク音声の音量と持続時間に閾値を設けてマイクのミュートを切り替える技術が開示されている。ミュート解除する場合には、蓄積された音声データのうち所定時間前からリアルタイム時刻に到達するまでの音声データを早送りで相手側に再生する。
【先行技術文献】
【特許文献】
【０００３】
特開２０２２－０１６９９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の電子会議（単に「会議」ということもある）を行う会議システムでは、各参加者のマイクが予めミュートされる場合がある。マイクに音声入力があったとき、又は音声入力があって他の参加者が発言していないときに、ミュートが自動的に解除される場合もある。そのため、会議と無関係の発言や外部の大きな音で誤ってミュートが解除され、発言者の意図に反して他の参加者へ送信されることがあった。また、蓄積された音声データが早送りで再生される場合にタイムラグが大きくなると、発言中の内容と相手側で再生されている内容との違いから会話に齟齬が生じることもあった。
【０００５】
本開示は、会議と無関係の発言や別の参加者の発言中に誤ってミュートが解除されることを抑制するとともに、会議を対象とする意図がある発言の際にミュートの自動解除が遅れても入力音声の内容を各参加者が視認可能な情報処理システム等の技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示の第１局面の情報処理システムは、第１端末装置及び第２端末装置を含む複数の端末装置と情報処理装置とを備える。前記端末装置は、音声入力部と、第１通信部と、音声データ制御部と、ミュート状態検出部と、ミュート状態制御部と、表示部と、表示制御部とを有する。前記音声入力部には、会議の参加者の音声が入力される。前記第１通信部は、前記情報処理装置との間で通信を行う前記音声データ制御部は、前記音声入力部へ入力された前記音声に対応する音声データを前記情報処理装置へ送信する。前記ミュート状態検出部は、実行中の会議アプリケーションがミュート状態であるか否かを検出する。前記ミュート状態制御部は、前記会議アプリケーションの前記ミュート状態の切り替えを制御する。前記表示制御部は、前記表示部を制御する。前記情報処理装置は、第２通信部と、意図解析処理部と、他者発言判定部とを有する。前記第２通信部は、前記端末装置の前記第１通信部との間で通信を行う。前記意図解析処理部は、前記ミュート状態である前記第１端末装置の前記第１通信部から前記第２通信部が受信した前記音声データを文字データに変換し、前記文字データを解析して、前記音声に前記会議を対象とする意図があるか否かを判定する。前記他者発言判定部は、前記ミュート状態が解除された前記第２端末装置から前記第２通信部が前記音声データを受信中であるか否かを判定する。そして、前記第２通信部は、前記意図解析処理部の第１判定結果と、前記他者発言判定部の第２判定結果とを前記第１端末装置へ送信するとともに、前記文字データを少なくとも前記第１端末装置及び前記第２端末装置へ送信する。前記第１判定結果が前記音声に前記会議を対象とする意図があることを示し、且つ前記第２判定結果が前記音声データを受信中ではないことを示す場合に、前記第１端末装置の前記ミュート状態制御部は、前記ミュート状態を解除し、前記第１端末装置及び前記第２端末装置の各前記表示制御部は、前記文字データを前記表示部に表示させる。
【０００７】
本開示の第２局面の情報処理システムは、第１端末装置を含む複数の端末装置と情報処理装置とを備える。前記端末装置は、音声入力部と、第１通信部と、音声データ制御部と、ミュート状態検出部と、ミュート状態制御部と、表示部と、表示制御部とを有する。前記音声入力部には、会議の参加者の音声が入力される。前記第１通信部は、前記情報処理装置との間で通信を行う。前記音声データ制御部は、前記音声入力部へ入力された前記音声に対応する音声データを前記情報処理装置へ送信する。前記ミュート状態検出部は、実行中の会議アプリケーションがミュート状態であるか否かを検出する。前記ミュート状態制御部は、前記会議アプリケーションの前記ミュート状態の切り替えを制御する。前記表示制御部は、前記表示部を制御する。前記情報処理装置は、第２通信部と、音声認識部とを有する。前記第２通信部は、前記端末装置の前記第１通信部との間で通信を行うとともに、前記ミュート状態である前記第１端末装置から前記音声データを受信したことを検出する。前記音声認識部は、前記音声データを文字データに変換する。そして、前記第２通信部が前記第１端末装置から前記音声データを受信したことを検出した第１の場合に、前記第２通信部は、前記音声データから変換された前記文字データを他の各前記端末装置へ送信する。他の各前記端末装置の前記表示制御部は、前記第１端末装置で前記音声が入力されたことを示す情報及び前記文字データを前記表示部に表示させる。
【０００８】
本開示の情報処理装置は、第２通信部と、意図解析処理部と、他者発言判定部とを備える。前記第２通信部は、会議の参加者の音声が入力される音声入力部をそれぞれ有する、第１端末装置及び第２端末装置を含む複数の端末装置のうちで、実行中の会議アプリケーションがミュート状態である前記第１端末装置から前記音声に対応して出力される音声データを受信する。前記意図解析処理部は、前記音声データを文字データに変換し、前記文字データを解析して、前記音声に前記会議を対象とする意図があるか否かを判定する。前記他者発言判定部は前記ミュート状態が解除された前記第２端末装置から前記第２通信部が前記音声データを受信中であるか否かを判定する。そして、前記第２通信部は、前記意図解析処理部の第１判定結果と、前記他者発言判定部の第２判定結果とを前記第１端末装置へ送信するとともに、前記文字データを少なくとも前記第１端末装置及び前記第２端末装置へ送信する。
【０００９】
本開示の情報処理方法は、会議の参加者の音声が入力される音声入力部をそれぞれ有する、第１端末装置及び第２端末装置を含む複数の端末装置のうちで、実行中の会議アプリケーションがミュート状態である前記第１端末装置から前記音声に対応して出力される音声データを受信する工程と、前記音声データを文字データに変換し、前記文字データを解析して、前記音声に前記会議を対象とする意図があるか否かを判定する第１判定を行う工程と、前記ミュート状態が解除された前記第２端末装置から前記音声データを受信中であるか否かを判定する第２判定を行う工程と、前記第１判定の結果と、前記第２判定の結果と、前記文字データとを前記端末装置へ送信する工程と、前記第１判定の結果が前記音声に前記会議を対象とする意図があることを示し、且つ前記第２判定の結果が前記音声データを受信中ではないことを示す場合に、前記第１端末装置の前記ミュート状態を解除するとともに、前記第１端末装置及び前記第２端末装置に前記文字データを表示する工程とを含む。
【００１０】
本開示の音声入力制御プログラムは、端末装置の音声入力制御をコンピュータに実行させる音声入力制御プログラムであって、前記音声入力制御は、実行中の会議アプリケーションがミュート状態であるか否かを検出する工程と、会議の参加者より入力された音声に対応する音声データを送信する工程と、前記音声に前記会議を対象とする意図があると判定され、且つ情報処理装置が他の前記端末装置からの前記音声データの受信中ではないと判定された場合に、前記ミュート状態を解除するとともに、前記音声データから変換された文字データを表示する工程とを含む。
【発明の効果】
（【００１１】以降は省略されています）

関連特許