特許ウォッチ

公開番号2024146620
公報種別公開特許公報(A)
公開日2024-10-15
出願番号2023059640
出願日2023-03-31
発明の名称算盤センシング装置、方法、及び珠算学習情報提示システム
出願人国立大学法人奈良先端科学技術大学院大学
代理人弁理士法人グローバル知財
主分類G06T 7/00 20170101AFI20241004BHJP(計算;計数)
要約【課題】ユーザの自然な算盤操作を妨げることなく、珠操作を高精度でセンシングできる算盤センシング装置、方法、及び珠算学習情報提示システムを提供する。
【解決手段】撮像手段11、盤面検出手段12、領域画像抽出手段13、領域画像分類手段14及び数字取得手段15を備える。撮像手段11は、ARマーカ12aが貼付けられた算盤20の盤面を撮影する。盤面検出手段12は、撮像手段11により撮像された撮像画像から、盤面を検出する。領域画像分類手段13は、検出された盤面から、一珠、五珠、軸部の少なくとも何れかの一部を含む複数の領域画像を桁毎に抽出する。領域画像分類手段14は、領域画像を分類する。数字取得手段15は、領域画像の分類結果に基づき桁毎に数字を取得する。盤面検出手段12は補正手段16を備える。
【選択図】図1
特許請求の範囲【請求項１】
算盤の盤面及び珠操作をリアルタイムにセンシングする装置であって、
前記盤面を撮影する撮像手段と、
前記撮像手段により撮像された撮像画像から、前記盤面を検出する盤面検出手段と、
検出された前記盤面から、一珠、五珠、軸部の少なくとも何れかの一部を含む複数の領域画像を桁毎に抽出する領域画像抽出手段と、
前記領域画像を分類する領域画像分類手段と、
前記領域画像の分類結果に基づき桁毎に数字を取得する数字取得手段と、
を備えることを特徴とする算盤センシング装置。
続きを表示（約 1,300 文字）【請求項２】
前記領域画像抽出手段は、
五珠の上半分、五珠の下半分、梁部を基準とした上側軸部の一部、の少なくとも何れかを切り出すことで得られる上側領域画像と、
一珠の上半分、一珠の下半分、梁部を基準とした下側軸部の一部、の少なくとも何れかを切り出すことで得られる下側領域画像、を抽出することを特徴とする請求項１に記載の算盤センシング装置。
【請求項３】
前記上側領域画像は、当該桁の珠の位置が０を示す状態において、
五珠の上半分と、前記上側軸部、から成る２つの領域画像、
であることを特徴とする請求項２に記載の算盤センシング装置。
【請求項４】
前記上側領域画像は、当該桁の珠の位置が０を示す状態において、
五珠の上半分、五珠の下半分、又は、前記上側軸部、の何れかから成る１つの領域画像であることを特徴とする請求項２に記載の算盤センシング装置。
【請求項５】
前記下側領域画像は、当該桁の珠の位置が０を示す状態において、
前記下側軸部と、各一珠の下半分、から成る５つの領域画像であることを特徴とする請求項２に記載の算盤センシング装置。
【請求項６】
前記下側領域画像は、当該桁の珠の位置が０を示す状態において、
各一珠の上半分、から成る４つの領域画像であることを特徴とする請求項２に記載の算盤センシング装置。
【請求項７】
前記下側領域画像は、当該桁の珠の位置が０を示す状態において、
上側から１番目の一珠の下半分と、上側から３番目の一珠の下半分、から成る２つの領域画像であることを特徴とする請求項２に記載の算盤センシング装置。
【請求項８】
前記盤面検出手段は、前記算盤に施した少なくとも１つのマーカ、又は、画像認識により、前記盤面を検出し、算盤が置かれた領域を同定することを特徴とする請求項１に記載の算盤センシング装置。
【請求項９】
前記盤面検出手段は、画像の角度又は歪みを補正する補正手段を備えることを特徴とする請求項１に記載の算盤センシング装置。
【請求項１０】
リアルタイムに珠算学習に関する情報を提示するシステムであって、
請求項１～９の何れかの算盤センシング装置と、
前記盤面と重畳した位置が含まれるように表示部が配置される表示手段と、
前記表示部に問題を表示する問題提示手段と、
前記算盤センシング装置により数字が取得されない桁の位置、数及び変化に基づき、入力完了を検知する入力完了検知手段と、
前記問題の解答となる数字と、前記算盤センシング装置により取得された数字、を比較して、珠の誤操作を検出する誤操作検出手段と、
前記誤操作の内容に応じて、正誤情報と、改善情報の少なくとも何れかの情報を学習情報として生成し、前記表示部に前記学習情報を表示する学習情報提示手段、
を備えることを特徴とする珠算学習情報提示システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、算盤（そろばん）を用いた計算、すなわち「珠算」の能力習得を支援するためのセンシング装置又は情報提示システムに関するものである。
続きを表示（約 2,700 文字）【背景技術】
【０００２】
算術力を獲得するための方法の一つとして、算盤（そろばん）を用いた計算、すなわち「珠算」が現代においても活用されている。珠算による計算は様々な方法・順序で「珠」を操作する必要があるため、習得には長期に渡る繰り返し学習を要する。一般的な学校教育・珠算教室における珠算指導では、問題への正答誤答に基づく指導が基本となっている。学習者の状況に応じて、教師により実演をすることで理解を促したり、学習者の観察に基づいてミスや苦手な珠操作を発見し指導したりする場合もあるが、基本的に全て人手に頼るほかないのが現状である。また、計算ミスや苦手な珠操作といった一種の「つまづき」には規則性・パターンがあると考えられるが、その知見は教師の中に暗黙知として蓄積され、次回の指導には生かされるものの、形式知化できていないため他者は再利用することができないことが課題となっている。
【０００３】
珠の位置認識と操作手順の重畳表示を用いたそろばん学習支援システムが知られている（非特許文献１を参照）。これは、透明のテーブルの裏側に設置したＬＥＤライト・カメラを用いて「珠」を画像検出することに基づき、盤面認識を行うものである。また、プロジェクションマッピングにより珠操作方法を提示する。ＬＥＤライトは裏側から撮影する際に「珠」の形を強調するために必要とされる。
珠操作センシング技術に関しては、非特許文献１のそろばん学習支援システムでは、面が透明なテーブルを用いなければならないこと、テーブルの裏側にカメラ・ＬＥＤライトの設置をしなければいけないこと、という２つの制約があるため、実用面に問題がある。また、ＬＥＤライトの光が目に入らないようにするために、算盤を置く場所以外は黒いシートで覆われており、算盤の位置を変更できないと推察され、利便性の点でも問題がある。
また、珠算学習のための情報提示に関しては、面が透明なテーブルを用いることが必須である都合上、プロジェクションマッピングなど、上から重畳表示する方法のみに対応する。また、問題の切り替えに際しては、盤面の状態から推定しているとすると、誤った操作をした場合（システム側が入力完了とする状態と異なる場合）に次の状態に遷移しないという問題が考えられる。
【０００４】
また、計算の終了後に間違った運珠を事後的に把握することができる算盤学習システムが知られている（特許文献１を参照）。これは、市販の算盤下部に、珠の配置に合わせたセンサアレイを有するデバイスを装着することで、珠操作をセンシングするものであり、誤った操作を記録し、計算終了後にＰＣ画面などに表示することで指導する。
しかしながら、特許文献１の算盤学習システムは、珠操作センシング技術に関しては、算盤への専用デバイスの装着が必須であるため、自然な算盤の操作を阻害する可能性があるという問題がある。また、珠算学習のための情報提示に関しては、結果を事後に画面に表示する方法では、一連の操作の途中に生じる誤操作を修正するのは難しいといった問題がある。
【０００５】
珠の位置によって表わされる数を発音する報知手段を有する発音機能付きそろばん練習機が知られている（特許文献２を参照）。これは、算盤の珠に導電板が取り付けられており、電気的にどこが接地しているかによって盤面の状況を測定し、その内容を音声読み上げするものである。
しかしながら、特許文献２のそろばん練習機は、珠操作センシング技術に関しては、算盤そのものの改変が必要であるため、市販の算盤を使用できないという問題がある。また、珠算学習のための情報提示に関しては、ハードウェア的に数字を盤面に表示する他、音声での読み上げはあるものの、誤りの指摘を行う機能は搭載されていない。
【０００６】
珠算式暗算を習得することを支援する珠算式暗算習得支援装置が知られている（特許文献３を参照）。これは、タブレット端末などの画面上に仮想的な算盤を表示して、珠部分に触れることで入力することを可能とするものである。
しかしながら、特許文献３の珠算式暗算習得支援装置は、電子的に算盤を画面上に再現し、タッチパネルでの算盤操作をすることで入力内容を取得しているが、本来の算盤操作とは大きく異なるものである。
【０００７】
既存の算盤を用いて、センシングや情報提示を行う技術としては、既存のそろばんでの入力結果を画像認識し、認識した画像データを下にコンピュータ可読媒体として変換できるそろばん認識装置が知られている（特許文献４を参照）。これは、入力手段からそろばんに表示された数値の認識指示を受けると、撮像手段からのそろばん画像を取り込み、取り込んだ画像からそろばんの各桁における１珠及び５珠の認識を行い、認識結果を数値として表示するものである。
そして、特許文献４のそろばん認識装置は、珠操作センシング技術に関して、珠の色と判断される点だけを色付けた二値画像を作成し、それを元に１珠、５珠の認識を行う。しかしながら、算盤の珠は一般に天然の木材が使用されるため、色にばらつきがあることから、珠の色で判断する技術では、認識精度の点で問題がある。また、珠の色は、長期間の使用により発生した汚れや変色などによる影響や、照明の当たり方などによって、白みがかるなどの影響も受けやすいといった問題がある。
【先行技術文献】
【特許文献】
【０００８】
特開２００９－２９４２５７号公報
特開２０１２－２４２８１５号公報
特開２０１６－０５７３７０号公報
特開２００８－１２３４２１号公報
【非特許文献】
【０００９】
北川珠莉，鈴木優．珠の位置認識と操作手順の重畳表示を用いたそろばん学習支援システム．情報処理学会インタラクション2022，6D04，pp759-762，2022．
【発明の概要】
【発明が解決しようとする課題】
【００１０】
かかる状況に鑑みて、本発明は、ユーザの自然な算盤操作を妨げることなく、珠操作を高精度でセンシングできる算盤センシング装置、方法、及び珠算学習情報提示システムを提供することを目的とする。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許