特許ウォッチ

公開番号2024177013
公報種別公開特許公報(A)
公開日2024-12-19
出願番号2023143772
出願日2023-09-05
発明の名称日本語文書の剽窃有無を判断するための装置及び方法
出願人ムハユインコーポレーテッド,muhayu Inc.
代理人個人
主分類G06F 40/253 20200101AFI20241212BHJP(計算;計数)
要約【課題】日本語文書の剽窃有無を判断する日本語比較キーアルゴリズムを抽出する装置及び方法を提供する。
【解決手段】方法は、日本語の文字形態を基準として日本語の文章から個別の構文に対応するチャンクを抽出しS100、名詞辞書情報を用いてチャンクに含まれている複数の名詞を個別の名詞に分割しS200、分割された個別の名詞で助詞としての役割を担うひらがな文字以外の文字の間に配置されたひらがな文字を含むチャンクとひらがな文字に先行するチャンクとを統合しS300、文字に基づいて全角文字を生成しS400、繰り返し符号を繰り返し符号に対応する反復対象となる文字に置き換えS500、抽出されたチャンクのうち記号が含まれているチャンクを除外し、抽出されたチャンクのうち数字が含まれているチャンクを前のチャンクと統合しS700、処理済みのチャンクを剽窃検査で活用される比較キーとして生成するS800。
【選択図】図2
特許請求の範囲【請求項１】
日本語文書の剽窃有無を判断するための装置であって、
前記日本語文書の剽窃有無を判断するアルゴリズムに関するコードデータと、名詞辞書情報を含む名詞辞書データを格納するメモリと、
前記コードデータの前記アルゴリズムを用いて前記日本語文書の剽窃有無を判断するように構成されたプロセッサと、を含み、
前記プロセッサは、
前記日本語文書に記載された日本語の文字形態を基準として日本語の文章を構文単位に区分することによって、個別の構文に対応するチャンクを抽出し、
前記名詞辞書データの名詞辞書情報を用いて、前記チャンクに含まれている複数の名詞を個別の名詞に分割し、
分割された個別の名詞で助詞としての役割を担うひらがな文字以外の文字の間に配置された前記ひらがな文字を含むチャンクを、前記ひらがな文字に先行するチャンクと統合し、
前記日本語文書に記載された文字に基づいて全角文字を生成し、
前記日本語文書で繰り返される文字に該当する繰り返し符号を、前記繰り返し符号に対応する反復対象となる文字に置き換え、
抽出されたチャンクのうち記号が含まれているチャンクを除外処理し、
抽出されたチャンクのうち数字が含まれているチャンクを先行するチャンクと統合し、
処理済みのチャンクを剽窃検査で活用される比較キーとして生成することを特徴とする、装置。
続きを表示（約 1,500 文字）【請求項２】
前記プロセッサは、
前記日本語文書に記載された前記日本語の前記文字形態であるひらがな、カタカナ、漢字、記号、及び数字を基準として前記日本語文書を個別の構文に区分することによって、前記チャンクを抽出することを特徴とする、請求項１に記載の装置。
【請求項３】
前記プロセッサは、
前記日本語文書に記載された複合名詞を個別の名詞単位に区分することを特徴とする、請求項２に記載の装置。
【請求項４】
前記プロセッサは、
前記助詞としての役割を担うひらがな１文字を含む１つのチャンクを区分する場合、前記ひらがな１文字に先行する前記ひらがな文字以外の文字に対するチャンクに前記１つのチャンクを含めることで、チャンクを統合することを特徴とする、請求項３に記載の装置。
【請求項５】
前記プロセッサは、
前記日本語文書に記載された半角文字の空白、カタカナ、記号、数字、及びアルファベットを前記全角文字に置き換えることを特徴とする、請求項４に記載の装置。
【請求項６】
前記プロセッサは、
２つ以上の繰り返し符号が前記日本語文書に記載された場合、前記２つ以上の繰り返し符号を全て前記２つ以上の繰り返し符号に先行する反復対象である文字に置き換え、
置き換えられた文字と先行する反復対象の文字を１つのチャンクに統合することを特徴とする、請求項５に記載の装置。
【請求項７】
前記繰り返し符号は、
JPEG
2024177013000003.jpg
9
163
のうちの少なくとも１つを含み、
前記プロセッサは、
前記繰り返し符号が用いられる場合、前記繰り返し符号を前記繰り返し符号の前に反復対象となる文字に置換処理することを特徴とする、請求項６に記載の装置。
【請求項８】
前記プロセッサは、
前記ひらがな文字を含むチャンクと前記ひらがな文字に先行するチャンクとを統合し、前記全角文字を生成し、前記繰り返し符号を前記文字に置き換えた後に、前記記号が含まれている前記チャンクを除外処理することを特徴とする、請求項７に記載の装置。
【請求項９】
前記プロセッサは、
前記記号が含まれている前記チャンクを除外処理した後に、前記数字が含まれているチャンクを先行するチャンクと統合することを特徴とする、請求項８に記載の装置。
【請求項１０】
日本語文書の剽窃有無を判断するための方法であって、
前記日本語文書に記載された日本語の文字形態を基準として日本語の文章を構文単位に区分することによって、個別の構文に対応するチャンクを抽出する段階と、
名詞辞書データの名詞辞書情報を用いて、前記チャンクに含まれている複数の名詞を個別の名詞に分割する段階と、
分割された個別の名詞で助詞としての役割を担うひらがな文字以外の文字の間に配置された前記ひらがな文字を含むチャンクを、前記ひらがな文字に先行するチャンクと統合する段階と、
前記日本語文書に記載された文字に基づいて全角文字を生成する段階と、
前記日本語文書で繰り返される文字に該当する繰り返し符号を、前記繰り返し符号に対応する反復対象となる文字に置き換える段階と、
抽出されたチャンクのうち記号が含まれているチャンクを除外処理する段階と、
抽出されたチャンクのうち数字が含まれているチャンクを先行するチャンクと統合する段階と、
処理済みのチャンクを剽窃検査で活用される比較キーとして生成する段階とを含む、方法。

発明の詳細な説明【技術分野】
【０００１】
本開示は、電子装置及びその動作方法に関する。より詳細には、本開示は日本語文書の剽窃有無を判断するための日本語比較キーアルゴリズムを抽出する装置及び方法に関する。
続きを表示（約 1,300 文字）【背景技術】
【０００２】
日本語比較キーの抽出は、日本語で作成された文書を比較対象文書と剽窃検査を行えるように文書から日本語比較キーを抽出する手法である。抽出された比較キーを基準として日本語文書同士の剽窃検査が可能である。
【０００３】
韓国語や英語の場合、語節単位の区分である分かち書きを基準として比較キーを抽出し、これに合わせて比較対象文書と剽窃検査を行える。しかし、日本語は、表記法の特性上、分かち書きを使った語節単位を使わない。その代わりに、対応する概念である文節単位で構文分析を行うが、これは分かち書きで区分されず、品詞によって区分される。これにより、従来の分かち書きを基準とした比較キー抽出技術を適用できず、日本語の文節単位に合う新たな規則の定義が必要である。
【０００４】
日本語の文節を基準として比較キーを抽出するためには、品詞を考慮して規則を定義しなければならないが、全ての日本語表現の品詞辞典の構築にはかなりの人的、時間的資源が必要であり、高い構築費用が必要であるという問題がある。また、言語は、新たな表現が常に新しく出現し、全ての表現に対応する品詞辞典の構築を通じた文節基準の比較キーの抽出は現実的に限界がある。
【０００５】
日本の教育機関、研究機関など日本語文書を作成する環境で剽窃の問題が過去から継続的に問題視されている。特に、大学などの日本の教育機関において、学生らが作成する課題や卒業論文、研究者が作成する学術論文の剽窃問題は、マスコミにも話題となり、対策作りの必要性が日本社会で提起されてきた。
【０００６】
世界的な科学学術雑誌である「Ｓｃｉｅｎｃｅ」の科学論文撤回に関する内容が掲載されるサイトであるＲｅｔｒａｃｔｉｏｎＷａｔｃｈでも、日本は論文の撤回が多い上位１０人の研究者のうち５０％を占めていると指摘されている。
【０００７】
剽窃の問題は日本だけでなく、韓国を含む世界各国で問題となっており、これに対する対応として剽窃検査プログラムによるテキスト剽窃検知技術が発展しつつある。しかし、剽窃検査のために韓国語や英語圏で用いられる分かち書きを基準とした語節単位の比較キー抽出方法は、分かち書きを使わない日本語の言語環境には適用できない。
【先行技術文献】
【特許文献】
【０００８】
特開２０２３-０２３５８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本開示は、上記事情に鑑みてなされたものであって、その目的は、語節に対応する概念である日本語の文節を基準とした比較キーの抽出によって日本語で書かれた著作物の剽窃技術の定義を設定するための装置及び方法を提供することにある。
【００１０】
本開示が解決しようとする課題は、以上で言及した課題に限定されず、言及していない更に他の課題は、以下の記載から通常の技術者が明確に理解できるだろう。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許