特許ウォッチ

公開番号2024137888
公報種別公開特許公報(A)
公開日2024-10-07
出願番号2024045901
出願日2024-03-22
発明の名称動画処理方法、装置、電子デバイス、媒体及びコンピュータプログラム
出願人日本電気株式会社
代理人個人
主分類A61B 1/00 20060101AFI20240927BHJP(医学または獣医学;衛生学)
要約【課題】内視鏡動画を分析することにより、採集操作の安定度を評価する技術案を提出する。
【解決手段】方法は、内視鏡採集操作によって得られた内視鏡動画を取得することと、内視鏡動画の現在フレームの部位推定と、少なくとも1つの先行フレームの部位推定と、および部位移転情報とに基づいて、内視鏡採集操作に関連する局所速度情報を決定することと、を含む。方法は、少なくとも局所速度情報に基づいて、内視鏡採集操作の安定度を決定することをさらに含む。本開示の実施例によれば、動画フレームレベルの安定度情報をリアルタイムで取得することができ、操作者の速すぎるまたは遅すぎる採集操作を適時に調整するのを支援し、そして、このような安定度情報は、内視鏡検査中の部位取得順序を考慮して得られるので、より正確で全面的である。
【選択図】図2
特許請求の範囲【請求項１】
内視鏡採集操作によって得られた内視鏡動画を取得することと、
前記内視鏡動画の現在フレームの部位推定と、少なくとも１つの先行フレームの部位推定と、部位移転情報とに基づいて、前記内視鏡採集操作に関連する局所速度情報を決定することと、
少なくとも前記局所速度情報に基づいて、前記内視鏡採集操作の安定度を決定することと、を含む、
動画処理方法。
続きを表示（約 1,700 文字）【請求項２】
前記局所速度情報は、第１の速度情報を含み、
前記局所速度情報を決定することは、
前記現在フレームの部位推定と前記少なくとも１つの先行フレームの部位推定とに基づいて、前記現在フレームに対応する第１の部位と、前記少なくとも１つの先行フレームのうちの別のフレームに対応する、前記第１の部位とは異なる第２の部位とを決定することと、
前記第１の部位と、前記第２の部位と、および前記部位移転情報とに基づいて、前記第１の速度情報を決定することと、を含む、
請求項１に記載の動画処理方法。
【請求項３】
前記局所速度情報は、第２の速度情報を含み、前記局所速度情報を決定することは、
前記現在フレームと、前記少なくとも１つの先行フレームのうちの１つまたは複数の先行フレームとの類似度を決定することと、
前記類似度に基づいて、前記第２の速度情報を決定することと、をさらに含む、
請求項２に記載の動画処理方法。
【請求項４】
前記現在フレームの部位推定および前記少なくとも１つの先行フレームの部位推定のうちのいずれかの部位推定の結果は、複数の部位のそれぞれについての可能性値を含み、前記第１の速度情報を決定することは、
前記現在フレームの部位推定の結果のうち、最大な可能性値が閾値を超えたことに応答して、前記第１の部位と、前記第２の部位と、及び前記部位移転情報とに基づいて前記第１の速度情報を決定することを含む、
請求項２に記載の動画処理方法。
【請求項５】
前記現在フレームに対応する第１の部位を決定することは、前記現在フレームの部位推定に基づいて、前記第１の部位を決定することを含み、
前記少なくとも１つの先行フレームのうちの別のフレームに対応する第２の部位を決定することは、
前記少なくとも１つの先行フレームのうちの前記別のフレームを決定することであって、前記少なくとも１つの先行フレームの部位推定において、前記別のフレームの部位推定は、前記第１の部位とは異なる他の部位についての最大な可能性値を有することと、
前記別のフレームの部位推定に基づいて、前記第２の部位を決定することと、を含む、
請求項４に記載の動画処理方法。
【請求項６】
ディープネットワークの予測に基づいて、前記現在フレームの部位推定および前記少なくとも１つの先行フレームの部位推定のうちのいずれかの部位推定の結果を取得することをさらに含む、
請求項１に記載の動画処理方法。
【請求項７】
前記内視鏡動画における動画フレームに対して品質評価を行い、品質要件を満たす前記現在フレームおよび前記少なくとも１つの動画フレームを決定することをさらに含む、
請求項１に記載の動画処理方法。
【請求項８】
前記安定度は、前記現在フレームの局所安定度を含み、
前記内視鏡採集操作の安定度を決定することは、
参照内視鏡動画に基づいて参照速度情報を決定することと、
前記局所速度情報および前記参照速度情報に基づいて、前記局所安定度を決定することと、を含む、
請求項１に記載の動画処理方法。
【請求項９】
参照内視鏡動画に基づいて参照速度情報を決定することは、
前記現在フレームに対応する第１の部位および前記第１の部位の隣接領域部位に基づいて、前記参照内視鏡動画における対応するセグメントを決定することと、
前記対応するセグメントに基づいて、前記参照速度情報を決定することと、を含む、
請求項８に記載の動画処理方法。
【請求項１０】
前記局所速度情報と前記参照速度情報との差が所定の範囲内にあることに応答して、前記局所安定度が内視鏡操作要件を満たしていると決定することをさらに含む、
請求項８に記載の動画処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示の実施例は、画像処理技術の分野に関するものであり、より具体的には、動画処理方法、装置、電子デバイス、コンピュータ読み取り可能な記憶媒体、およびコンピュータプログラム製品に関するものである。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
内視鏡検査は、体外から人体の自然管腔を経て体内に送り込まれ、体内の疾患を検査する光学設備検査の１種である。内視鏡は、湾曲可能部分と、光源と、１セットのレンズとから構成されていてもよい。操作者は、使用時に内視鏡を検査対象臓器に導入し、内視鏡を操作して動かし、関わる部位を直接に覗き、画像や動画を記録することができる。
【０００３】
内視鏡検査中に、異なる操作者の操作レベルに差があり、指標の一つは操作の安定度である。安定度の悪い操作は、内視鏡の前進または後退操作が速すぎたり、遅すぎたり、あるいは異なる部位間で勝手に切り替えたりすることを表す。安定度の良い操作は、限られた操作時間内に安定した操作を行い、臓器の各部位及び／又は病巣をよりはっきりと全面的に観察し、同時に人体に対する傷害を回避或いは軽減することができる。したがって、内視鏡システムに正確な安定度検出メカニズムを導入し、内視鏡検査の操作レベルを向上させ、被検者の体験を向上させる必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このようなことに鑑みて、本開示の実施例は、内視鏡動画を分析することにより、採集操作の安定度を評価する技術案を提出する。
【課題を解決するための手段】
【０００５】
本開示の第１の形態によれば、動画処理方法を提供する。方法は、内視鏡採集操作によって得られた内視鏡動画を取得することと、内視鏡動画の現在フレームの部位推定と、少なくとも１つの先行フレームの部位推定と、および部位移転情報とに基づいて、内視鏡採集操作に関連する局所速度情報を決定することと、少なくとも局所速度情報に基づいて、内視鏡採集操作の安定度を決定することと、を含む。
【０００６】
本開示の第２の形態によれば、動画処理装置を提供する。装置は、内視鏡採集操作によって得られた内視鏡動画を取得するように構成される動画取得ユニットと、内視鏡動画の現在フレームの部位推定と、少なくとも１つの先行フレームの部位推定と、および部位移転情報とに基づいて、内視鏡採集操作に関連する局所速度情報を決定するように構成される局所速度決定ユニットと、少なくとも局所速度情報に基づいて、内視鏡採集操作の安定度を決定するように構成される安定度決定ユニットと、を備える。
【０００７】
本開示の第３の形態によれば、電子デバイスを提供する。前記電子デバイスは、少なくとも１つの処理ユニットと、前記少なくとも１つの処理ユニットに結合され、前記少なくとも１つの処理ユニットによって実行される命令が格納されたメモリとを備え、前記命令が前記少なくとも１つの処理ユニットによって実行されると、本開示の第１の形態を実行する。
【０００８】
本開示の第４の形態によれば、デバイスによって実行されると、本開示の第１の形態に記載の方法を前記デバイスに実行させる機械実行可能命令を含む、コンピュータ読み取り可能な記憶媒体を提供する。
【０００９】
本開示の第５の形態によれば、デバイスによって実行されると、本開示の第１の形態に記載の方法を前記デバイスに実行させる機械実行可能命令を含む、コンピュータプログラム製品を提供する。
【００１０】
発明内容の部分は、以下の具体的な実施形態でさらに説明される概念に対する選択を簡略化した形で紹介するために提供される。発明内容の部分は、本開示のクリティカルな特徴又は必要な特徴を指示することを意図せず、また、本開示の範囲を限定することも意図しない。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許