JNE:将大脑信号成功翻译为口语单词

2010-09-08 00:00 · jim

9月8日,据国外媒体报道,美国犹他大学科学家近日利用两组植入癫痫患者大脑中的微电极阵列成功实现将大脑信号转化为口语单词。这一重大研究成果将能够帮助因患严重麻痹症而失去语言能力的患者轻松地表达自己的思想。 据科学家介绍,这种微电极阵列每组包括16个微电极,通常植入到头骨之下,大脑

9月8日,据国外媒体报道,美国犹他大学科学家近日利用两组植入癫痫患者大脑中的微电极阵列成功实现将大脑信号转化为口语单词。这一重大研究成果将能够帮助因患严重麻痹症而失去语言能力的患者轻松地表达自己的思想。

据科学家介绍,这种微电极阵列每组包括16个微电极,通常植入到头骨之下,大脑之上。美国犹他大学生物工程学助理教授布拉德利-格雷格尔介绍说,“通过这种设备我们可以获得大脑信号。只需这些大脑信号,我们就可以将其解码为人类口语单词。这种设备将可以长期帮助因患严重麻痹症而失去语言能力的患者。”

由于这种方法还需进一步完善,此外还涉及到植入大脑这一复杂的过程,因此格雷格尔表示该方法要投入到用于治疗“闭锁综合症”等疾病的临床实验还需数年时间。科学家的研究成果论文发表于九月版的《神经工程学》杂志之上,论文论证了将大脑信号解码为计算机发音的口语单词的可行性。

犹他大学的科研团队将两组微电极阵列植入到一位志愿者的大脑语言中枢上方。这位志愿者患有严重的癫痫症,已经经历过一次开颅手术。因此,医生很容易将更大的传统电极放置于导致他癫痫发作的源头,从而从手术上可以阻止癫痫的发作。

患者被要求阅读如下十个英语单词,即“是、不、热、冷、饥饿、口渴、哈罗、再见、更多和更少”。通常认为,这十个英语单词对于麻痹症患者的康复很有帮助。随着患者不断重复这十个英语单词,科学家们也记录下他的大脑信号。接下来,他们在尝试解码这些大脑信号分别代表十个单词中的哪一个。当患者说“是”或“不”时,科学家们再分别对比这两个单词所产生的大脑信号。

目前,他们已能够较好地区分清每一个单词的大脑信号,每一次的准确率达76%到90%。不过,当他们一次性检测所有10个大脑信号时,准确率只有28%到48%。这一准确率比随机检测的准确率(应该是10%)要高。但是,对于一个将患者思想翻译为计算机发音的口语语言的设备来说,这种准确率还不够高。

格雷格尔表示,“这是一种概念的实验。我们已经证明这些信号能够告诉你患者在说什么,而且准确率比随机性要高。但是,我们需要进一步完善,争取能够识别出更多的单词,准确率更高。这样,患者将能够真正地发现它的用处。”格雷格尔希望,患者最终将受益于这项研究成果。将来,通过一个无线设备,就可以将患者的思想转化为计算机发音的口语语言。这些患者包括由于脑中风、葛雷克氏症以及外伤导致的麻痹症患者。“闭锁综合症”患者通常通过自己尽可能做出的动作与他人进行交流,如眨眼睛或轻轻地移动手部。

与格雷格尔一起共事的犹他大学研究团队的其他成员还包括电子工程师斯宾塞-科利斯、工程学院院长理查德-布朗以及神经外科学助理教授保罗-豪斯等人。论文的另一联合作者凯-米勒是来自美国华盛顿大学的一位神经学科学家。这项研究由美国国立卫生研究院、美国国防部高级研究计划署、犹他大学研究基金会以及美国国家自然科学基金会等单位联合赞助。

这项研究采用了一种新型的非穿透性微电极,这种电极置于大脑之上,但没有穿透大脑。它们通常也被称为“微电极阵列”,因为它们是用于脑皮层电图中的体积更大的电极的微缩版,即微脑皮层电图电极。

对于某些通过药物治疗病情仍未得到控制的癫痫症患者来说,可以通过开颅手术,将一个包含有脑皮层电图电极的硅树脂垫置于大脑之上数日或数周时间。这种钮扣大小的脑皮层电图电极不会穿透大脑,但可以检测到反常的电行为,从而帮助外科医生定位并移除大脑中导致癫痫发作的一小部分。

去年,格雷格尔和同事们已经发表过一篇论文,该论文证明,更小的微电极能够“读取”用于控制手臂动作的大脑信号。去年参与研究的一位癫痫症患者志愿参与今年的新研究计划。

由于微电极不需要穿透大脑物质,因此它们放置到大脑的语言控制区被认为是安全的。而利用穿透性电极也是无法做到这一点的。在一些实验中,通常利用穿透性电极来帮助麻痹症患者控制电脑鼠标或操纵义肢。

脑电图电极通常用于放在头颅之上来记录脑电波,但是这种电极太大,而且记录太多的大脑信号,以致于很难将这些信号解码为口语语言。

 

在新研究中,微电极被用于检测来自大脑的微弱信号,这些信号由数千个神经元产生。两组微电极阵列分别由16个微电极组成,每个微电极相隔一毫米。两组微电极阵列分别置放于大脑的两个语言区上方。第一个区域是面部运动皮层,它控制面部、嘴唇、舌头等部位的运动,主要涉及说话的肌肉。第二个区域是威尼克区,这是人类大脑中关于语言理解功能的区域。

研究实验共持续四天,每天一个阶段,每阶段一个小时。研究人员告诉癫痫症患者,当他们每一次指向患者时,患者必须要不断重复十个单词中的一个。通过两组微电极阵列,研究人员将大脑信号记录下来。每个单词共重复了31次到96次不等。

格雷格尔介绍说,研究人员接下来通过分析每一个神经信号的不同频率的强度变化,区别出不同单词的大脑信号。研究人员发现,每一个口语单词产生不同的大脑信号。他们认为,这有力地支持了如下理论,即置于大脑上的微电极可以捕捉到大脑的语言信号。

此外,科学家们还在研究中取得了一个意外的发现。当患者重复单词时,大脑面部运动皮层最活跃,而威尼克区则不够活跃。但是,当患者完成上述动作受到研究人员感谢时,威尼克区则开始活跃起来。格雷格尔解释说,这表明威尼克区与更高层的语言理解功能的关系更密切,而面部运动皮层功能则是控制面部帮助发声的肌肉。通过利用录自面部运动皮层的大脑信号,研究人员一个一个地区分这些单词时,准确率最高,达到85%。而利用录自威尼克区的大脑信号进行区分时,准确率则相当较低,为76%。

科学家们又分别选取了每组阵列16个微电极中的五个,这十个微电极在解码来自面部运动皮层的信号时准确率是32个微电极中最高的。它们在对单词进行二选一辨别时,准确率几乎可以达到90%。在从十个单词中识别一个单词这样更复杂、更困难的实验中,最初每一次取得的准确率仅为28%。这一准确率尽管不够高,但是比10%的随机率要高。然而,当研究人员利用每一组中五个最准确的微电极进行识别时,他们发现准确率几乎可以达到48%。

格雷格尔表示,“这并不意味着问题已完全解决,我们可以回家了。它表明,这种技术具有可行性,但我们还需要继续完善,直到闭锁综合症等疾病患者能够真正地交流。很明显,我们下一步计划是,使用更大的微电极阵列,比如11*11微电极阵列,共121个微电极。我们可以做更多的阵列,可以使用更多的微电极,可以从大脑中获取更多的数据。这意味着可以读出更多的单词,准确率更高。”

 

推荐英文摘要:

Journal of Neural Engineering>doi: 10.1088/1741-2560/7/5/056007

Decoding spoken words using local field potentials recorded from the cortical surface>
Spencer Kellis1, Kai Miller2, Kyle Thomson3, Richard Brown1, Paul House4 and Bradley Greger3

1 Department of Electrical and Computer Engineering, University of Utah, Salt Lake City, UT 84112, USA>
2 Department of Neurobiology and Behavior, University of Washington School of Medicine, Seattle, WA 98195, USA>
3 Department of Bioengineering, University of Utah, Salt Lake City, UT 84112, USA>
4 Department of Neurosurgery, University of Utah, Salt Lake City, UT 84112, USA

Pathological conditions such as amyotrophic lateral sclerosis or damage to the brainstem can leave patients severely paralyzed but fully aware, in a condition known as 'locked-in syndrome'. Communication in this state is often reduced to selecting individual letters or words by arduous residual movements. More intuitive and rapid communication may be restored by directly interfacing with language areas of the cerebral cortex. We used a grid of closely spaced, nonpenetrating micro-electrodes to record local field potentials (LFPs) from the surface of face motor cortex and Wernicke's area. From these LFPs we were successful in classifying a small set of words on a trial-by-trial basis at levels well above chance. We found that the pattern of electrodes with the highest accuracy changed for each word, which supports the idea that closely spaced micro-electrodes are capable of capturing neural signals from independent neural processing assemblies. These results further support using cortical surface potentials (electrocorticography) in brain–computer interfaces. These results also show that LFPs recorded from the cortical surface (micro-electrocorticography) of language areas can be used to classify speech-related cortical rhythms and potentially restore communication to locked-in patients.
Spencer Kellis1, Kai Miller2, Kyle Thomson3, Richard Brown1, Paul House4 and Bradley Greger3

1 Department of Electrical and Computer Engineering, University of Utah, Salt Lake City, UT 84112, USA>
2 Department of Neurobiology and Behavior, University of Washington School of Medicine, Seattle, WA 98195, USA>
3 Department of Bioengineering, University of Utah, Salt Lake City, UT 84112, USA>
4 Department of Neurosurgery, University of Utah, Salt Lake City, UT 84112, USA

Pathological conditions such as amyotrophic lateral sclerosis or damage to the brainstem can leave patients severely paralyzed but fully aware, in a condition known as 'locked-in syndrome'. Communication in this state is often reduced to selecting individual letters or words by arduous residual movements. More intuitive and rapid communication may be restored by directly interfacing with language areas of the cerebral cortex. We used a grid of closely spaced, nonpenetrating micro-electrodes to record local field potentials (LFPs) from the surface of face motor cortex and Wernicke's area. From these LFPs we were successful in classifying a small set of words on a trial-by-trial basis at levels well above chance. We found that the pattern of electrodes with the highest accuracy changed for each word, which supports the idea that closely spaced micro-electrodes are capable of capturing neural signals from independent neural processing assemblies. These results further support using cortical surface potentials (electrocorticography) in brain–computer interfaces. These results also show that LFPs recorded from the cortical surface (micro-electrocorticography) of language areas can be used to classify speech-related cortical rhythms and potentially restore communication to locked-in patients.

关键词: