特許ウォッチ

公開番号2025178452
公報種別公開特許公報(A)
公開日2025-12-05
出願番号2025165564,2021130617
出願日2025-10-01,2021-08-10
発明の名称情報処理装置、情報処理方法及び情報処理プログラム
出願人富士フイルム株式会社
代理人個人,個人,個人,個人,個人
主分類H04N 5/92 20060101AFI20251128BHJP(電気通信技術)
要約【課題】コンテンツを使用したイベントの実施時におけるユーザの感情を示す感情タグをコンテンツに付与する感情タグ付与システム、方法及びプログラムを提供する。
【解決手段】感情タグ付与方法は、音声検出器が、コンテンツを使用したイベントの実施中に、イベントに参加した人間が発声する音声を示す音声データを検出するステップS16と、感情認識器が、音声データに基づいて人間の感情を認識するステップS18と、プロセッサが、コンテンツを使用したイベントの実施中に認識した人間の感情を示す感情情報を取得するステップと、感情認識器が、取得した感情情報から算出した感情ランクを、感情タグとしてコンテンツに付与するステップS20,S22と、を含む。
【選択図】図7
特許請求の範囲【請求項１】
プロセッサと、
コンテンツを使用したイベントの実施中に、前記イベントに参加した人間が発声する音声を示す音声データを検出する音声検出器と、
前記音声データに基づいて人間の感情を認識する感情認識器と、を備え、
前記プロセッサは、
前記コンテンツを使用したイベントの実施中に前記感情認識器が認識した前記人間の感情を示す感情情報を取得し、
前記取得した感情情報から算出した感情ランクを、感情タグとして前記コンテンツに付与する、
感情タグ付与システム。
続きを表示（約 1,300 文字）【請求項２】
前記感情認識器は、人間が喜んでいるときに発声する音声の音声データと、喜んでいないときに発声する音声の音声データとを含む多数の音声データを教師データとして機械学習した認識器である、
請求項１に記載の感情タグ付与システム。
【請求項３】
前記コンテンツは、複数の画像であり、
前記イベントは、画像再生機器により前記複数の画像を順次再生し、再生した前記複数の画像を鑑賞する鑑賞イベントである、
請求項１又は２に記載の感情タグ付与システム。
【請求項４】
前記複数の画像は、前記イベントに参加した人間が写っている写真又は動画を含む、
請求項３に記載の感情タグ付与システム。
【請求項５】
前記プロセッサは、前記複数の画像が再生される時間帯における複数の感情情報を前記感情認識器から取得し、前記複数の感情情報の代表値から各画像に対応する感情ランクを算出し、算出した感情ランクを前記感情タグとして各画像にそれぞれ付与する、
請求項３又は４に記載の感情タグ付与システム。
【請求項６】
前記プロセッサは、
前記イベントに複数人が参加している場合、前記音声検出器が検出する音声データに基づいて、前記複数の画像が再生される時間帯における１又は複数の主要話者を特定し、特定した１人以上の主要話者を示す話者識別情報を各画像にそれぞれ付与する、
請求項５に記載の感情タグ付与システム。
【請求項７】
前記プロセッサは、
前記画像再生機器による前記複数の画像の再生中に前記感情ランク及び前記話者識別情報のうち少なくとも１つを同時に表示させる、
請求項６に記載の感情タグ付与システム。
【請求項８】
前記プロセッサは、
前記音声検出器が検出する音声データに基づいて、前記音声データをテキストデータに変換し、前記テキストデータの少なくとも一部を、コメントタグとして前記複数の画像の対応する画像に付与する、
請求項３から７のいずれか１項に記載の感情タグ付与システム。
【請求項９】
音声検出器が、コンテンツを使用したイベントの実施中に、前記イベントに参加した人間が発声する音声を示す音声データを検出するステップと、
感情認識器が、前記音声データに基づいて人間の感情を認識するステップと、
プロセッサが、前記コンテンツを使用したイベントの実施中に前記認識した前記人間の感情を示す感情情報を取得するステップと、
前記感情認識器が、前記取得した感情情報から算出した感情ランクを、感情タグとして前記コンテンツに付与するステップと、
を含む感情タグ付与方法。
【請求項１０】
前記コンテンツは、複数の画像であり、
前記イベントは、画像再生機器により前記複数の画像を順次再生し、再生した前記複数の画像を鑑賞する鑑賞イベントである、
請求項９に記載の感情タグ付与方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は感情タグ付与システム、方法及びプログラムに係り、特にコンテンツにユーザの感情に関する感情タグを付与する技術に関する。
続きを表示（約 1,200 文字）【背景技術】
【０００２】
従来、動画、写真などの画像ファイルや音声ファイルなどのコンテンツデータをストレージに大量に保存し、ストレージから選択的にファイルを読み出してスライドショーのように連続再生するシステムが知られている。
【０００３】
特許文献１には、このようなシステムに使用され、タグ付きのコンテンツデータの登録から検索閲覧までのユーザの負担を低減する情報処理システムが提案されている。
【０００４】
特許文献１に記載の情報処理システムは、ユーザ及びユーザの行動に関する情報からユーザのコンテンツデータに対する１以上のタグ情報を生成し、生成した１以上のタグ情報をコンテンツデータと紐付けてコンテンツデータベースに登録する。
【０００５】
また、情報処理システムは、検索閲覧時には、ユーザを含むコンテンツ視聴環境から検出される情報に基づいてタグ情報を選択し、選択したタグ情報に基づいて、コンテンツデータベースから１以上のコンテンツデータを検索して順次再生する。
【０００６】
ところで、特許文献１には、画像ファイルのコンテンツデータにタグ情報を付与する場合に、画像ファイルのコンテンツデータ（撮影画像）を解析し、撮影画像に含まれる人物の顔表情から感情情報を推定し、推定した感情情報を含むタグ情報を画像ファイルに付与する記載がある。尚、感情情報は、例えば、「楽しい」、「悲しい」などの顔表情から推定される情報である。
【先行技術文献】
【特許文献】
【０００７】
国際公開第２０２０／１５８５３６号
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に記載の情報処理システムは、画像ファイルのコンテンツデータにタグ情報を付与する場合に、画像ファイルのコンテンツデータ（撮影画像）を解析し、撮影画像に含まれる人物の顔表情から感情情報を推定し、推定した感情情報を含むタグ情報を画像ファイルに付与する。
【０００９】
しかしながら、撮影画像に含まれる人物の顔表情から推定される感情情報は、撮影画像が撮影された時点（過去）の感情情報であり、その撮影画像を視聴したユーザのコンテンツ視聴時点の感情情報ではない。
【００１０】
また、特許文献１には、コンテンツ視聴時に定点観測カメラなどを使ってコンテンツ視聴環境の画像を取得し、取得した画像から被写体の人物を認識するとともに、その人物の顔表情から感情を推定する記載がある。しかし、ここで推定される感情は、例えば"楽しい"（顔表情が笑顔）などの特定の感情に変化した場合に、検索用のタグ情報を「楽しい」のタグ情報に更新し、コンテンツデータを再検索して再生提示に切り替える場合に使用されるものである。
（【００１１】以降は省略されています）

関連特許