NESC TEC和慕尼黑大学的一组研究人员测试了一种创新解决方案

INESC TEC 和慕尼黑大学的一组研究人员，包括葡萄牙卡内基梅隆大学(CMU Portugal)博士。学生 Tamás Karácsony测试了一种创新解决方案，使用红外雷达和 3D 视频对发作进行分类，发作是癫痫的主要症状。科学报告最近发表了这项工作的结果，由 Tamás Karácsony 的主管和 CMU 葡萄牙科学主任 João Paulo Cunha 协调，他是 INESC TEC 的研究员和 FEUP 的教授。

尽管有大量关于癫痫发作分类的视频资料，但关于该主题的研究仍然很少，而自动化的、人工智能支持的解决方案的方法就更少了。 这项新研究提出了一种新方法，它是第一个考虑从两秒样本进行近实时分类的方法，显示了支持使用深度学习的诊断和监控过程(基于动作识别)的系统的可行性。这种技术可以区分额叶和颞叶癫痫发作(最常见的两类癫痫)或非癫痫事件。

癫痫是一种慢性神经系统疾病，影响了世界 1% 的人口，癫痫发作是主要症状之一——其症状学对于诊断潜在发作至关重要。癫痫发作的分析通常由专业医疗保健专业人员在癫痫监测单位 (EMU) 使用二维视频脑电图(脑电图)完成。“在临床诊断期间，临床医生利用这些视频从视觉上识别由运动特征(符号学)定义的兴趣运动，”INESC TEC 和 CMU Portugal 博士的研究员 Tamás Karácsony 解释说。波尔图大学 (FEUP) 工程学院的学生。

然而，符号学评估受到上述专业人员之间较高的评估者间可的限制，尽管很有前途，但使用计算机视觉的自动和半自动方法仍然依赖于相当大的“循环中的人”的努力。“患者通常会被监测几天，之后必须全面检查是否有癫痫发作。这需要临床工作人员投入大量时间和精力”，研究人员补充道。

为了克服这个问题，研究人员团队开发了一种基于深度学习的 方法，用于对癫痫发作进行自动和近实时分类。根据该论文的第一作者 Tamás Karácsony 的说法，“我们提出了一项新的贡献，其灵感来自专家分析癫痫发作符号学的方式，不仅考虑了患者身体不同部位的特定运动的存在，而且还考虑了他们动力学及其生物力学方面，例如速度或加速度模式，或运动范围。”

该团队求助于世界上最大的 3D 视频脑电图数据库并提取了 115 次癫痫发作的视频，首先开发了一种半专业化的自动预处理算法，以从视频中去除不必要的环境。实际上，结合了两种图像裁剪方法——深度和 Mask R-CNN——提供了一个干净的场景，从而改进了从可用视频中提取相关信息，最大限度地减少不相关的变化，并改进了癫痫发作的分类过程。

在进一步解释所使用的过程时，Tamás 解释说：“我们的解决方案使用动作识别方法和场景的智能 3D 裁剪来删除不相关的信息，例如临床医生在患者周围移动。通过删除它，我们的方法显着提高了分类性能”。根据 CMU 葡萄牙博士。候选人，这项研究还证明了我们的动作识别方法区分两类癫痫和非癫痫类的可行性，只需两秒的样本，使其可用于近实时监测。此外，我们提出的解决方案可用于其他 3D 视频数据集，用于分析和监测癫痫发作”

因此，在将这些知识转化为改进的诊断和治疗时，该方法有两个目的：或者，如果将方法转移到非卧床环境中，当癫痫发作持续时，护理人员会做出更快的反应，这可能会降低相关风险和癫痫猝死 (SUDEP)。如果没有近乎实时的方法，这将是不可行的，”Tamás Karácsony 说。

在将该系统应用于临床实践之前，还需要进行更多的研究。尽管如此，从长远来看，该系统有望使临床医生、诊所和患者受益。“有了自动诊断支持，临床医生可以花更少的时间查看视频，从而可以治疗更多的患者，有望做出更好的决策，从而降低诊所和社会的相关成本(物质和健康)”，他总结道。

该研究部分由Tamás Karácsony CMU Portugal/Fundação para a Ciência ea Tecnologia (FCT) 奖学金资助。Tamás 是 INESCTEC 的机器学习研究员，拥有丹麦技术大学生物医学工程硕士学位和布达佩斯科技经济大学机电一体化硕士学位。他的主要研究兴趣包括计算机视觉、动作识别、ML 的生物医学应用和神经工程。

他的初步论文题目是“用于癫痫发作分类的可解释的基于 DL 的临床 MoCap”，他将在卡内基梅隆计算机科学学院的 Fernando De la Torre 的指导下在 CMU 进行研究。