一种神经解码器,采用循环神经网络的方式将记录的皮质神经信号.doc
《一种神经解码器,采用循环神经网络的方式将记录的皮质神经信号.doc》由会员分享,可在线阅读,更多相关《一种神经解码器,采用循环神经网络的方式将记录的皮质神经信号.doc(4页珍藏版)》请在三一文库上搜索。
1、一种神经解码器,采用循环神经网络的方式将记录的皮质神经信号2019 年 4 月 24 日,来自加州大学旧金山分校(UCSF)神经外科学系 Gopala K. Anumanchipalli,Josh Chartier,Edward F. Chang 团队在 Nature 杂志上发表了题为 “Speech synthesis from neural decoding of spoken sentences” 的论文,引起了不少人士的关注。据悉,研究人员设计一种神经解码器,采用循环神经网络(Recurrent Neural Network,RNN)的方式将记录的皮质神经信号,然后编码咬合关节运动的表
2、征,以合成可听语音。也就是说,严重瘫痪的病患可以使用基于该技术的产品通过大脑皮层活动更有效地向任何人发送文字信息。可以想象,像此前受肌萎缩侧索硬化ALS病症多年折磨的著名物理学家史蒂芬 霍金(Stephen Hawking)一定也非常乐意看到深度学习技术能够应用于临床医学上的突破。随后,谷歌大脑 Jeff Dean 通过 Twitter 转发了这条消息,并赞叹该项研究成果,“非常酷!可以直接从神经活动中快速产生语音。”实际上,他们在 2018 年 11 月 29 日以名为 “Intelligible speech synthesis from neural decoding of spoken
3、 sentences” 的论文就已经得到了公开。只不过,那时还是预印本,还未经过同级评审。我们先来回顾下最新论文的主要内容。摘要:将大脑神经活动转换成语音的技术,对于因神经损伤而无法正常沟通的人类来说将具有变革意义。从技术上来讲,从神经活动中解码语音是非常具有挑战性的,因为说话需要对声道的咬合结构进行非常精确和快速的多维控制。通过设计一种神经解码器,明确地利用人类皮层活动中编码的运动和声音表征来合成可听语音。循环神经网络(RNN)将记录的皮质神经信号直接解码为咬合关节运动的表征,然后将这些表征再转换为语音。在封闭的词汇测试中,听众可以很容易地识别和转录皮层活动从而合成语音。即便数据有限,中间关
4、节运动(Intermediate articulatory dynamics )也能提高性能。经过解码的语音表征非常保守,使得解码器的一个组件可跨不同受试者进行转换。此外,当受试者静默地模仿句子时,解码器可以合成语音。以上这些发现提高了使用语音神经假体技术以恢复人类口语交流的临床可行性。研究过程许多患者是依靠通信设备来转录头部、眼睛或者直接的大脑皮层活动中的信息,然后再控制光标逐个选择字幕来拼写单词。例如,患者此前使用的语音合成系统基本就是这样的原理。虽然该系统显著提高了患者的生活质量,但多数用户很难在一分钟内传递超过 10 个单词,这一速度远低于自然语言中 150 词 / 分钟的平均速度。一
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 一种 神经 解码器 采用 循环 神经网络 方式 记录 皮质 信号
链接地址:https://www.31doc.com/p-3364779.html