特許ウォッチ

公開番号2025017466
公報種別公開特許公報(A)
公開日2025-02-06
出願番号2023120503
出願日2023-07-25
発明の名称情報処理システム、テキスト静止画表示システム、テキスト静止画表示方法、プログラム
出願人株式会社リコー
代理人個人,個人
主分類H04N 7/15 20060101AFI20250130BHJP(電気通信技術)
要約【課題】動画データに含まれる静止画と発話データとを対応づけること。
【解決手段】情報処理システムは、第一端末装置から取得した動画データから、静止画を取得し、動画データから静止画が取得された第一の時刻情報を取得し、動画データに含まれる音声データに対応する複数の発話データ、及び、動画データにおいて発話データが発話された第二の時刻情報を取得する。情報処理システムは、第一の時刻情報と第二の時刻情報とに基づき、静止画と発話データとが対応付けられた画面情報を第二端末装置に送信する。
【選択図】図1
特許請求の範囲【請求項１】
第一端末装置から取得した動画データから、静止画及び前記動画データから該静止画が取得された第一の時刻情報を取得する静止画取得部と、
前記動画データに含まれる音声データに対応する複数の発話データ、及び、前記動画データにおいて前記発話データが発話された第二の時刻情報を取得する発話データ取得部と、
前記第一の時刻情報と前記第二の時刻情報とに基づき、前記静止画と前記発話データとが対応付けられた画面情報を第二端末装置に送信する通信制御部と、
を有する情報処理システム。
続きを表示（約 1,400 文字）【請求項２】
前記通信制御部は、前記第一端末装置から前記静止画を取得する取得領域に関する静止画取得領域情報を取得し、
前記静止画取得部は、前記取得領域の前記静止画を前記動画データから取得する請求項１に記載の情報処理システム。
【請求項３】
前記静止画取得領域情報は、前記動画データの開始からの時刻に対応付けて、複数の前記取得領域を有し、
前記静止画取得部は、前記時刻に応じて、前記動画データから前記静止画を取得する前記取得領域を切り変える請求項２に記載の情報処理システム。
【請求項４】
前記通信制御部は、前記動画データを用いて前記取得領域の指定を受け付ける画面情報を前記第一端末装置に送信し、
前記第一端末装置が前記画面情報に基づいて表示した画面に対し受け付けた前記取得領域を含む前記静止画取得領域情報を前記第一端末装置から受信する請求項２又は３に記載の情報処理システム。
【請求項５】
前記通信制御部が前記動画データを受信する前に、前記第一端末装置が表示した、
前記動画データを用いて前記取得領域の指定を受け付ける画面に対し、
前記第一端末装置が受け付けた前記取得領域を含む前記静止画取得領域情報を前記第一端末装置から受信する請求項２又は３に記載の情報処理システム。
【請求項６】
前記画面は、前記動画データの再生時刻を表すシークバーを有し、
前記シークバーには、前記動画データのレイアウトが変わった時刻に対応付けてマークが表示されており、
前記第一端末装置は、前記マークに基づいて前記静止画取得領域情報を受け付ける請求項４に記載の情報処理システム。
【請求項７】
前記静止画取得部は、前記動画データから一定時間ごとに静止画を取得し、
前記通信制御部は、前記第一の時刻情報と次の前記第一の時刻情報の間隔である前記一定時間の間に、前記第二の時刻情報が含まれる前記発話データと、前記第一の時刻情報に対応付けられてる前記静止画とが対応付けられた、前記画面情報を前記第二端末装置に送信し、
前記第二端末装置は、静止画と前記発話データを前記一定時間ごとに対応付けて表示する請求項１に記載の情報処理システム。
【請求項８】
前記動画データに含まれる音声データの音声認識を音声認識サービスに要求し、前記音声認識サービスからテキストデータを取得する音声認識制御部を有し、
前記発話データ取得部は、前記テキストデータに含まれる複数の発話データと、前記第二の時刻情報を取得する請求項１に記載の情報処理システム。
【請求項９】
前記通信制御部は、前記動画データと共にトランスクリプトファイルを受信し、
前記発話データ取得部は、前記トランスクリプトファイルに含まれる複数の発話データと、前記第二の時刻情報を取得する請求項８の情報処理システム。
【請求項１０】
前記通信制御部は、前記第一の時刻情報と前記第二の時刻情報とに基づき、前記静止画と前記発話データとを対応付けられると共に、
前記第二の時刻情報に、前記テキストデータに含まれる発話データと前記トランスクリプトファイルに含まれる発話データとが対応付けられた前記画面情報を前記第二端末装置に送信する請求項９に記載の情報処理システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理システム、テキスト静止画表示システム、テキスト静止画表示方法、及び、プログラムに関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
リモート会議など拠点間で送受信される動画データから文字起こしをして、トランスクリプト（話した内容を文書化したもの）等の記録を作成する技術が知られている。このような技術は、会議の議事録の作成支援や、技術情報の保存などに活用されうる。
【０００３】
音声データを複数のセグメントに分割し、話者の識別情報と対応付けて記録する技術が考案されている（例えば、特許文献１参照）。特許文献１には、参加者の顔を含む画像データに基づいて音声データの対応するセグメントの話者を識別する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、動画データに含まれる静止画と発話データとが対応づけられていないという問題がある。例えばオンライン会議では、会議の主催者側が資料を共有画面に表示し音声データと共に説明することが多い。会議の終了後に会議の内容を知りたいユーザーが、会議中の共有画面の動画データや音声認識されたテキストデータを閲覧しても、テキストデータが動画データのどの場面と対応するか分からないため、会議の内容を把握しづらい。
【０００５】
本発明は、上記課題に鑑み、動画データに含まれる静止画と発話データとを対応づけられる技術を提供する。
【課題を解決するための手段】
【０００６】
上記課題に鑑み、本発明は、第一端末装置から取得した動画データから、静止画及び前記動画データから該静止画が取得された第一の時刻情報を取得する静止画取得部と、前記動画データに含まれる音声データに対応する複数の発話データ、及び、前記動画データにおいて前記発話データが発話された第二の時刻情報を取得する発話データ取得部と、前記第一の時刻情報と前記第二の時刻情報とに基づき、前記静止画と前記発話データとが対応付けられた画面情報を第二端末装置に送信する通信制御部と、を有する情報処理システムを提供する。
【発明の効果】
【０００７】
本発明は、動画データに含まれる静止画と発話データとを対応づけられる技術を提供できる。
【図面の簡単な説明】
【０００８】
テキスト静止画表示システムが動画から取得した静止画とテキストデータとを対応付ける処理を説明する図である。
テキスト静止画表示システムのシステム構成例を示した図である。
コンピュータの一例のハードウェア構成図である。
情報処理システム、第一端末装置、第二端末装置、第三端末装置の機能構成例を示す図である。
テキスト情報管理テーブルの一例を示す概念図である。
静止画情報管理テーブルの一例を示す概念図である。
記録書誌情報管理テーブルの一例を示す概念図である。
動画ファイルのアップロード時に表示する画面について説明する図である。
第一端末装置が動画ファイルを情報処理システムにアップロードし、情報処理システムが静止画を取得する処理の流れを説明するシーケンス図の一例である。
第一端末装置が表示する動画ファイル一覧画面の一例を示す図である。
新しい記録書誌情報が保存された場合の動画ファイル一覧画面の一例を示す図である。
第三端末装置がテキスト静止画表示画面を表示する処理を説明するシーケンス図の一例である。
第三端末装置が表示するテキスト静止画表示画面の一例を示す図である。
第一端末装置が動画ファイルのアップロード時に表示する画面について説明する図である。
第一端末装置が表示する領域指定画面の一例を示す図である。
静止画取得領域情報の一例を示す図である。
第一端末装置が表示する領域指定画面を説明する図である。
動画のレイアウトが変わった場合の静止画取得領域情報の一例を示す図である。
パターン１において、第一端末装置が動画ファイルを情報処理システムにアップロードし、情報処理システムが静止画を取得する処理の流れを説明するシーケンス図の一例である。
パターン２において、第一端末装置が動画ファイルを情報処理システムにアップロードし、情報処理システムが静止画を取得する処理の流れを説明するシーケンス図の一例である。
トランスクリプトファイルが有するデータ例を示す図である。
第一端末装置が表示する動画ファイル一覧画面の一例を示す図である。
アップロード画面（その１）の一例を示す図である。
第一端末装置が動画ファイルを情報処理システムにアップロードし、情報処理システムが静止画を取得する処理の流れを説明するシーケンス図の一例である。
テキスト情報管理テーブル記憶部に保存される、音声認識サービスによる発話データとトランスクリプトファイルから取得した発話データの対応を説明する図である。
第三端末装置がテキスト静止画表示画面を表示する処理を説明するシーケンス図の一例である。
第三端末装置が表示するテキスト静止画表示画面の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態の一例として、テキスト静止画表示システムとテキスト静止画表示システムが行うテキスト静止画表示方法について説明する。
【００１０】
[第一実施形態]
＜概略＞
図１は、テキスト静止画表示システム１００が動画から取得した静止画とテキストデータとを対応付ける処理を説明する図である。図１では、すでにオンライン会議が終了し、端末装置１０が音声を含む動画ファイルを保存しているものとする。
（【００１１】以降は省略されています）

関連特許