特許ウォッチ

公開番号2025020637
公報種別公開特許公報(A)
公開日2025-02-13
出願番号2023124138
出願日2023-07-31
発明の名称手話記号列生成装置およびプログラム
出願人日本放送協会,一般財団法人NHK財団
代理人個人,個人,個人,個人
主分類G06F 40/44 20200101AFI20250205BHJP(計算;計数)
要約【課題】従来技術では、手話映像の認識のために自然言語文(日本語文等)を利用することができないという問題があった。手話映像に対応する自然言語文を入力することによって高い認識精度で手話記号列を生成することのできる手話記号列生成装置を提供する。
【解決手段】手話記号列生成装置は、デコーダー機能部を備える。デコーダー機能部は、自然言語文に対応するエンコード結果情報と、手話画像系列に対応するエンコード結果情報と、に基づいてデコード処理を行うことによって、手話記号の列を出力する。
【選択図】図1
特許請求の範囲【請求項１】
自然言語文に対応するエンコード結果情報と、手話画像系列に対応するエンコード結果情報と、に基づいてデコード処理を行うことによって、手話記号の列を出力するデコーダー機能部、
を備える手話記号列生成装置。
続きを表示（約 770 文字）【請求項２】
前記デコーダー機能部は、自然言語文に対応するエンコード結果情報と、手話画像系列に対応するエンコード結果情報との両方に基づいて、前記手話記号の列を出力する単一のデコーダーを備える、
請求項１に記載の手話記号列生成装置。
【請求項３】
前記デコーダー機能部は、
前記自然言語文に対応するエンコード結果情報に基づいて、第１デコード結果を出力する第１デコーダーと、
前記手話画像系列に対応するエンコード結果情報と、前記第１デコード結果とに基づいて、第２デコード結果である手話記号の列を出力する第２デコーダーと、
を備え、
前記第２デコーダーから出力される前記手話記号は、前記列において後続する手話記号を求めるために前記第１デコーダーに入力される、
請求項１に記載の手話記号列生成装置。
【請求項４】
前記デコーダー機能部は、
前記手話画像系列に対応するエンコード結果情報に基づいて、第１デコード結果を出力する第１デコーダーと、
前記自然言語文に対応するエンコード結果情報と、前記第１デコード結果とに基づいて、第２デコード結果である手話記号の列を出力する第２デコーダーと、
を備え、
前記第２デコーダーから出力される前記手話記号は、前記列において後続する手話記号を求めるために前記第１デコーダーに入力される、
請求項１に記載の手話記号列生成装置。
【請求項５】
自然言語文に対応するエンコード結果情報と、手話画像系列に対応するエンコード結果情報と、に基づいて、手話記号の列を出力するデコーダー機能部、
を備える手話記号列生成装置、としてコンピューターを機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、手話記号列生成装置およびプログラムに関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
手話映像を基に手話での発話内容を自動的に認識する技術（手話認識技術）が研究されている。手話認識技術は、聴覚障害者のコミュニケーション支援の目的で利用されるのは勿論のこと、ほかにも自然言語文（日本語文等）と手話文との対訳データ作成にも利用される。
【０００３】
非特許文献１では、日本語音声と手話映像とで構成される手話番組から対訳データを作成する技術が報告されている。非特許文献１に記載された技術では、自然言語音声（日本語音声）から音声認識により自然言語文（日本語文）を作成し、手話映像から手話認識により手話文を作成して、これらを対訳データとしている。作成された対訳データは、日本語を手話文に機械翻訳する技術に利用される。非特許文献１では日本語文から手話のＣＧアニメーションを自動生成する過程でこの機械翻訳を利用している。
【０００４】
従来技術によって手話認識を実現する場合、例えば、深層学習技術のエンコーダーとデコーダーとが手話認識ネットワークとして用いられる。この従来技術では、手話映像を画像エンコーダーに入力し、エンコーダーからの出力に基づいてデコーダーが手話文を出力する。手話文は手話の単語を表す記号（手話単語ラベル）の列として表現される。手話単語ラベルは、手話の単語と意味の近い日本語の単語を中括弧｛｝で括って表記される。
【０００５】
より具体的には、従来技術による手話認識ネットワークの動作は次のとおりである。即ち、入力映像（手話映像）を画像エンコーダーに入力することによって、画像エンコーダー出力を得る。画像エンコーダー出力は、入力映像が伝える意味の理解に必要な情報を符号化したベクトルのシーケンスである。続いて、デコーダーに開始記号（ＢＯＳ記号；「ＢＯＳ」は、「beginning of sentence」の略）を入力し、デコーダーが画像エンコーダー出力を参照することによって手話文の最初の単語を決定し、出力する。以下、デコーダーが決定した単語をデコーダーに再帰的に入力し、さらにデコーダーが画像エンコーダー出力を参照して順次単語を決定していく。これにより、デコーダーが出力する手話単語の列として、手話文を完成させる。
【先行技術文献】
【非特許文献】
【０００６】
梶山岳士，金子浩之，佐野雅規，「手話翻訳用データベース作成支援ツールの開発」，信学技報WIT2021-47(2022-03)，pages 24-28，一般社団法人電子情報通信学会，２０２２年
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来技術による手話認識ネットワークは、聴覚障害者のコミュニケーション支援のために利用されることを想定したネットワークであり、その入力は手話映像のみを想定している。しかしながら、自然言語文（日本語文等）と手話文との対訳データの作成に手話認識技術を利用する場合は、手話映像の認識のために自然言語文（日本語文等）を利用できる可能性がある。しかしながら、従来技術による手話認識ネットワークは、手話映像の認識のために自然言語文（日本語文等）を用いる構成とはなっていなかった。つまり、従来技術では、手話映像の認識のために自然言語文（日本語文等）を利用することができないという問題があった。
【０００８】
本発明は、上記の課題認識に基づいて行なわれたものであり、手話映像に対応する自然言語文を入力することによって高い認識精度で手話記号列を生成することのできる手話記号列生成装置およびプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００９】
［１］上記の課題を解決するため、本発明の一態様による手話記号列生成装置は、自然言語文に対応するエンコード結果情報と、手話画像系列に対応するエンコード結果情報と、に基づいて、デコード処理を行うことによって手話記号の列を出力するデコーダー機能部、を備える。
【００１０】
［２］また、本発明の一態様は、上記［１］の手話記号列生成装置において、前記デコーダー機能部は、自然言語文に対応するエンコード結果情報と、手話画像系列に対応するエンコード結果情報との両方に基づいて、前記手話記号の列を出力する単一のデコーダーを備えるものである。
（【００１１】以降は省略されています）

関連特許