特許ウォッチ

公開番号2025075378
公報種別公開特許公報(A)
公開日2025-05-15
出願番号2023186489
出願日2023-10-31
発明の名称動画検証装置、動画検証方法、及び動画検証システム
出願人株式会社日立製作所
代理人ポレール弁理士法人
主分類G06T 7/20 20170101AFI20250508BHJP(計算;計数)
要約【課題】
細胞あるいは高分子化合物あるいはこれらの複合体を作業対象物とする実験又は培養の作業においては、実験作業中に、攪拌作業や意識しない動作によって、作業対象物へ些細な振動や力が加わることがあり、これによって細胞や高分子化合物が破壊してしまう場合がある。
【解決手段】
予め作業工程を定めた作業工程表に沿って実施された作業を撮像した動画を用いて、その作業内容を検証する動画検証装置であって、カメラにて撮像した作業の動画と、作業を施した作業対象物を評価した評価結果とを対にして、作業の作業回毎に記録する記録部と、検証対象となる作業回の評価結果と、比較対象となる他の作業回の評価結果との差異が予め定めた閾値よりも大きい場合、記録部に記録された検証対象となる作業回の動画を解析し、作業工程表に規定された動作との差異を検証する処理部と、処理部によって検証された結果を提示する表示部を備えるように構成した。
【選択図】図1
特許請求の範囲【請求項１】
細胞あるいは高分子化合物、もしくはこれらの複合体を作業対象物とし、予め作業工程を定めた作業工程表に沿って実施された作業を撮像した動画を用いて、その作業内容を検証する動画検証装置であって、
カメラにて撮像した前記作業の動画と、前記作業を施した前記作業対象物を評価した評価結果とを対にして、前記作業の作業回毎に記録する記録部と、
検証対象となる作業回の前記評価結果と、比較対象となる他の作業回の前記評価結果との差異が予め定めた閾値よりも大きい場合、前記記録部に記録された検証対象となる作業回の動画を解析し、前記作業工程表に規定された動作との差異を検証する処理部と、
前記処理部によって検証された結果を提示する表示部と、を有することを特徴とする、動画検証装置。
続きを表示（約 1,400 文字）【請求項２】
請求項１に記載の動画検証装置であって、
前記処理部は、前記動画の解析の結果、前記検証対象の作業回において前記作業工程表から逸脱した動作が確認された場合、前記比較対象の作業回よりも前記検証対象の作業回の方が前記評価結果が良好であれば前記作業工程表の検証を促す内容を前記表示部に提示し、良好でなければ前記逸脱した動作についての動画を前記表示部へ提示することを特徴とする、動画検証装置。
【請求項３】
請求項２に記載の動画検証装置であって、
前記処理部は、前記動画の解析の結果、前記検証対象の作業回において前記作業工程表から逸脱した動作が確認されなかった場合、前記検証対象の作業回と前記比較対象の作業回との両者において、前記動画から前記作業対象物にかかる影響度合いを推定し、前記両者の影響度合いに予め定めた許容値を超える差異があるかを検証することを特徴とする、動画検証装置。
【請求項４】
請求項３に記載の動画検証装置であって、
前記作業対象物にかかる影響度合いは、前記作業対象物にかかる加速度であることを特徴とする、動画検証装置。
【請求項５】
請求項４に記載の動画検証装置であって、
前記処理部は、前記両者の加速度に予め定めた許容値を超える差異があった場合、前記両者の加速度に相違があること、及び、該当する前記動画の場面を前記表示部へ提示することを特徴とする、動画検証装置。
【請求項６】
請求項５に記載の動画検証装置であって、
前記処理部は、前記両者の加速度に予め定めた許容値を超える差異がなかった場合、前記作業工程に分注機を使用する作業が含まれるか否かを確認し、前記動画から分注作業における吐出方法もしくは吐出速度に予め定めた許容値を超える差異があるかを検証することを特徴とする、動画検証装置。
【請求項７】
請求項６に記載の動画検証装置であって、
前記処理部は、前記両者の分注作業における吐出方法もしくは吐出速度に予め定めた許容値を超える差異があった場合、前記両者の吐出方法もしくは吐出速度に相違があること、及び、該当する前記動画の場面を前記表示部へ提示することを特徴とする、動画検証装置。
【請求項８】
請求項７に記載の動画検証装置であって、
前記処理部は、前記作業工程に分注機を使用する作業が含まれない、または、前記両者の分注作業における吐出方法もしくは吐出速度に予め定めた許容値を超える差異がなかった場合、前記作業工程表に規定された動作以外において、前記作業対象物にかかる前記両者の加速度を推定することを特徴とする、動画検証装置。
【請求項９】
請求項８に記載の動画検証装置であって、
前記処理部は、前記両者の加速度に予め定めた許容値を超える差異があった場合、前記両者の加速度に相違があること、及び、該当する前記動画の場面を前記表示部へ提示することを特徴とする、動画検証装置。
【請求項１０】
請求項９に記載の動画検証装置であって、
前記処理部は、前記両者の加速度に予め定めた許容値を超える差異がなかった場合、
前記動画から前記両者の環境条件を抽出し、差異を判別することを特徴とする、動画検証装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、細胞や微生物の培養、あるいは生物有機化学あるいはケミカルバイオロジーに基づく実験作業の検証を行う動画検証装置、動画検証方法、及び動画検証システムに関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
作業者が作業工程表に沿って手作業で行う、細胞あるいは高分子化合物あるいはこれらの複合体を作業対象物とする実験又は培養の作業においては、同じ作業工程表に従って作業をしたとしても、各作業回間で結果に差が生じる場合がある。
【０００３】
その原因特定には、各作業回の各作業工程において作業対象に直接的、間接的に加えられた影響の差を検証し、比較、判定することが必要である。環境の温度や湿度なども含めて様々な要因が考えられるが、細胞あるいは高分子化合物あるいはこれらの複合体を作業対象物とする実験又は培養の作業においては、実験作業中における作業者の無意識な動作・行為等によっても細胞や高分子化合物を破壊してしまう場合があるため、そのような場合は実験中の作業状況の検証が必要となる。
【０００４】
従来、機器の組み立てなどの分野において、作業者と作業対象物との間の相互作用の有無で、動画解析範囲を限定した上で、学習済み作業モデルとのマッチングで作業内容を推定する技術として、特許文献１（特開２０２２－０７５３２５号公報）に記載のものがあった。
【先行技術文献】
【特許文献】
【０００５】
特開２０２２－０７５３２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
細胞あるいは高分子化合物あるいはこれらの複合体を作業対象物とする実験又は培養の作業においては、実験作業中に、攪拌作業や意識しない動作等によって、作業対象物へ些細な振動や力が加わることがあり、これによって細胞や高分子化合物が破壊してしまう場合がある。
【０００７】
一方、特許文献１に記載の発明は、実施している作業工程を判別し記録するものであり、作業内容そのものの良否を検証したり、作業結果に影響を及ぼす要因を推定する機能を有していない。そのため、同一の作業にもかかわらず、作業結果に差が出ることについて、検証するには至っていない。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明における動画検証装置は、細胞あるいは高分子化合物、もしくはこれらの複合体を作業対象物とし、予め作業工程を定めた作業工程表に沿って実施された作業を撮像した動画を用いて、その作業内容を検証する動画検証装置であって、カメラにて撮像した作業の動画と、作業を施した作業対象物を評価した評価結果とを対にして、作業の作業回毎に記録する記録部と、検証対象となる作業回の評価結果と、比較対象となる他の作業回の評価結果との差異が予め定めた閾値よりも大きい場合、記録部に記録された検証対象となる作業回の動画を解析し、作業工程表に規定された動作との差異を検証する処理部と、処理部によって検証された結果を提示する表示部を備えるように構成した。
【発明の効果】
【０００９】
作業中に作業対象物にかかった作業結果に影響を及ぼす要因を推定でき、その作業を撮像した動画上での個所を提示することによって、作業工程表に沿った作業にもかかわらず、その結果に差が出た原因を検証することができる。また、作業回毎に、作業対象物にかかった力などに差があった場合は、動画中でそれらの差が生じた個所を指摘することで、作業の進め方の見直しを行うべき操作を特定し、速やかに、対策の発案につなげることができる。
【図面の簡単な説明】
【００１０】
本発明の実施例における動画検証装置及びその適用状況を示す図である。
本発明の実施例における作業工程表の一例である。
本発明の実施例におけるカメラによる撮像動画の一例である。
本発明の実施例におけるカメラによる撮像動画の一例である。
本発明の実施例におけるカメラによる撮像動画の一例である。
本発明の実施例におけるカメラによる撮像動画の一例である。
本発明の実施例における検証処理のフローチャートである。
本発明の実施例における検証処理のフローチャートである。
本発明の実施例における、記録部に記録される作業結果と動画データの例である。
本発明の実施例における記録部に記録される作業結果と動画データの例である。
本発明の実施例における記録部に記録される作業結果と動画データの例である。
本発明の実施例における表示部に提示される画面の例である。
本発明の実施例における表示部に提示される画面の例である。
本発明の実施例における表示部に提示される画面の例である。
本発明の実施例における表示部に提示される画面の例である。
本発明の実施例における表示部に提示される画面の例である。
本発明の実施例における表示部に提示される画面の例である。
本発明の他の実施例における動画検証装置及びその適用状況を示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許