Facebook脑机接口迎新突破,但AR/VR交互却转向EMG肌电控制

Esther|编辑

近年来,Facebook、Valve、Neurallink都入局了脑机接口,这项技术原本是为脑瘫等失去语言能力的患者打造的,而未来似乎也将用于AR/VR等下一代计算平台。为了探索脑机接口在AR/VR应用的前景,过去四年来,Facebook一直在探索BCI技术在AR/VR的应用,并取得较大成果。

据青亭网了解,Facebook的BCI项目主要包括两个部分:1)内部团队研究的穿戴式光学BCI;2)与加州大学旧金山分校(UCSF)合作研发的植入式BCI。其中,Facebook更关注非侵入式脑机接口的研究方向,而植入式脑机接口的技术和算法未来可能会应用于EMG腕带等非侵入式接口,未来应用场景包括全天候AR眼镜。

近期,Facebook和UCSF在<>上公开了最新的脑机接口研究方案:Project Steno。据悉,该方案可以分析瘫痪患者大脑皮层负责语言的部分,并解码为完整的文字,特点是严重失语的人第一次使用也有很好的表现。

目前,市面上已经有各种不同形式的侵入式和非侵入式脑机接口技术,其中大多数的功能是控制机械臂、操作菜单界面、识别生物信息等等,很少可以将脑信号直接转写成文字。而且,体积小巧、轻便的脑机接口设计也不多见。

将脑中的想法变成文字,似乎是科幻电影中描绘的理想效果,不过这一功能已经在Project Steno上实现。该方案可快速解读大脑运动皮层向声道发送的信号,识别打招呼、描述状态等简单对话。共可区别50个单词,并组合生成1000句话,文字识别准确率可达93%,速度达每分钟18个单词。

实际上,Facebook Reality Labs从2017年就开始探索BCI项目,其长期目标是开发一种无声的非侵入式语音接口,可以将使用者脑中的想法转成文字,帮助失语者恢复自然交流能力。

而Project Steno从2019年开始研发,这项脑机接口技术标志着神经科学的一个重要里程碑,与此同时,也标志着Facebook与UCSF合作项目的落幕。本次合作项目结束后,Facebook会将脑机接口软件开源,并与科研人员和同行共享头戴式脑机接口原型,希望能够推动脑机接口生态和技术的继续发展,将其应用于帮助语言障碍患者交流等医疗辅助场景。

Facebook表示:这项脑机接口技术可用于临床实验场景,也可能用于光学BCI、EMG腕带等非侵入式消费级产品,甚至作为AR眼镜的输入方式。

不过,短期内Facebook似乎对于植入式技术并无兴趣。接下来,Facebook会将重心从脑机接口向EMG腕带转移,加速腕带式神经接口与AR/VR的结合。也就是说,未来Facebook会将BCI团队基础研究成果用来优化腕带输入方式,同时将放弃无声的非侵入式语音接口。

关于Project Steno

Facebook表示:目前,该脑机接口对于患者来讲,Project Steno比16年来他使用过的所有BCI方案都更轻便,同时这项技术对于神经科学领域也是一个关键里程碑。

两年前,该方案可实时识别大量词语,误差极低。后来在去年,科研人员利用机器学习技术实现了对完整句财经子的识别。

UCSF神经外科系主任Edward Chang表示:我们在UCSF的科研团队已经从事[语音神经假肢]的研究十年多时间。在过去5年来,随着机器学习技术发展,语音神经假肢技术得到长足发展。因此利用Facebook的机器学习专业技术,以及资金支持,我们加速了脑机接口的研发,更好的分析大脑处理语言任务的方式。

不过此前的研究是在大声讲话的人身上进行的,为了验证Project Steno方案在失语症患者身上的效果,科研人员为一名参与者进行了选择性外科手术,在他的脑皮层下植入了电极模块。据悉,这位患者曾经历多次中风,无法正常说话交流。

在实验过程中,该患者为科研人员提供了数十个小时的文字转写数据,后来这些数据被用于训练机器学习模型,用来识别语音意图,以及分类词语。

Facebook脑机接口布局

在这个合作项目中,Facebook为UCSF的科研人员提供了机器学习相关的建议和反馈,以及科研资金,与此同时整个项目的实验由UCSF设计和监督。

Facebook表示:我们并不参与任何形式的数据收集,而且对于开发植入式BCI也并无兴趣。自助UCSF主要是为了帮助科研人员扩大服务器容量,加速模型测试,以及获得更多准确的实验结果。

除了Project Steno外,Facebook此前也曾研究基于近红外原理的大脑血氧合检测方案,以及识别组织性运动的非侵入式脑机接口方案。据悉,Facebook的穿戴式光学BCI基于近红外光技术(未来或采用LiDAR或手机摄像头),外观和体积看起来像大号的耳机。相比之下,植入式BCI方案体积更小,不过需要手术。

Facebook表示:植入式BCI方案的目标是,验证无声脑机接口能否达到100词/分钟的计算速度,并探索需要识别的神经信号类型。

Project Steno首次展示了结合讲话意图和语言模型的BCI,以及BCI技术结合语言统计特征的潜力。通过预判和推断连续组合的单词来构成句子(类似于手机输入法的自动校正和自动关联功能),将可以大幅提升BCI的准确率。

AR/VR交互重点将转向EMG肌电控制

在完成Project Steno项目研发后,Facebook Reality Labs开始重新评估其BCI项目的整体目标。尽管FRL的长远目标依然是头戴式光学BCI技术,但FRL已决定将AR/VR交互的研发重点放在EMG腕带上,因为这种形式的神经接口进入市场的路径更快更短。

FRL科研总监Sean Keller表示:我们正在开发一种应用于全天候AR眼镜的,更加自然、直观的交互方式,这种交互方式将不影响使用者在日常生活中的行为。尽管目前对于EMG腕带的研究依然在初期阶段,但FRL相信它将成为AR眼镜的核心输入方式,未来我们还将应用在BCI上的研究经验,来加速EMG腕带技术发展。

Mugler表示:我们意识到,光学BCI研究中所采用的生物反馈和实时解码算法也可用于提升EMG腕带技术,让你可以在穿上腕带几分钟内就能实现意图读取。此外,为了提升EMG腕带的准确性,实时解码算法可通过语言的统计特征来推断使用者的输入意图。

看起来,BCI技术或许可以提升EMG腕带的文字输入能力,实现用手势快速打字的效果。

总之,Facebook在过去四年一直在寻找AR眼镜的自然输入方式,不过他们发现,短期内BCI难以成为AR的输入方式。后来在EMG腕带技术更加成熟后,看到了腕带方案的前景,并计划利用EMG来取代更复杂、成本更高的BCI。

接下来,Facebook还将公开关于穿戴式体感设备的最新研究,这项技术将优化用户在AR/VR中的存在感,并带来更多形式的交互场景。

参考:

https://tech.fb.com/bci-milestone-new-research-from-ucsf-with-support-from-facebook-shows-the-potential-of-brain-computer-interfaces-for-restoring-speech-communication/

( END)

推荐阅读 每天五分钟,轻松了解前沿科技。——青亭网

百度未收录

未经允许不得转载:蔚蓝资讯网 » Facebook脑机接口迎新突破,但AR/VR交互却转向EMG肌电控制

赞 (0) 打赏

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址