意念实时转语音!脸书的非植入式脑机接口准确率达76%

时间:2019-08-05 来源: 星座
凯发彩票

  8825175299267a322fd81382c1cb30e6.gif

量子位 作者:铜灵

  今天,加州大学旧金山分校(UCSF)和Facebook在Nature Commuications上发表的一项研究显示:

  他们在“非植入式”的穿戴设备上取得了最新进展,构建出了一个大脑-计算机系统,能准确解码佩戴设备的人听到和说出词语和对话,实时从大脑信号中解码。

  也就是说,在这种脑机接口面前,你的所思所想已无处遁形,Facebook已经让意念打字成为了现实。

  此前,马斯克的脑机接口公司Neuralink也发布过脑机接口系统,但这种植入式的设备需要向大脑中植入3000多个电极,以此来检测神经元的活动,但非植入式的设备就免去了复杂的植入步骤。

  研究人员表示,目前对生成和感知的两部分语言进行解码,准确率超出了他们的想象,分别能达到61%和76%的准确率。

  eb771cb12d7351c602add31ef4dd50a8.jpeg

  这项项目对于正常人和残疾人来说,都具有实用意义。

  比如,你可以将思维直连到语音助手siri,查询天气、搜索信息不用直接喊出来了。

  研究人员之一、加州大学旧金山分校神经外科医生Edward Chang表示,这是向神经植入物迈出的重要一步,因为中风,脊髓损伤或其他疾病而失去说话能力的患者,有望因此获得自然交流的能力 。

  如何意念转语音

  这项成果来自Facebook Reality Labs,一直与加州大学旧金山分校合作开展这项脑机接口的研究。

  Facebook的设想是,设计一种可以将大脑信号转换成语言的装置,不需要劳动任何一块肌肉,深度学习就能直接读懂大脑,解码脑中所想,实现流畅交流。

  为了进行试验,研究人员此前还招募了五名在医院接受癫痫治疗的志愿者。

  be4f37bb71d3ca9ee30ea82f2186127c.jpeg

  他们先是从高密度皮层活动中提取相关信号特征。志愿者们说了上百句话,而通过植入性大脑皮层电图(ECoG),研究人员可以跟踪控制语言和发音的大脑区域的活动,并将这些活动与志愿者说话时嘴唇、舌头、喉部和下颚的微妙运动联系起来,然后将这些运动学特征翻译成口语句子。

  研究人员采用bLSTM(bidi-rectional long short-term memory)循环神经网络来破译ECoG信号表达的运动学表征。

  接着用另外一个bLSTM解码先前破译的运动学特征中的声学特征。

  在这个过程中,两个神经网络都会被投喂训练数据,以提高它们的解码性能。

  3af174956b8eda72dc8a56b720786dff.jpeg

  在今年的四月份,利用这样的方法,Facebook已经实现了以每分钟150词的速度帮你说出所思所想。

  而在这篇最新的论文Real-time decoding of question-and-answer speech dialogue using human cortical activity中,他们在此前研究基础上,研究人员想进一步提高精度。

  330570731340ea0ca01b12dee7a50558.jpeg

  大多数语音解码的工作原理是对一个人在想什么声音做出最佳猜测,在解码过程中可能会被“synthesizer”和“fertilizer”这类发音相似的单词混淆。

  但Facebook的新系统增加了上下文信息来帮助区分这些单词。

  首先,这个算法预测从一组已知问题中听到的问题,比如“你在一块土地上撒了什么?”然后,这些信息作为上下文来帮助预测答案:“肥料”(fertilizer)。

  7adb33a38dab2a3236e767036e8ece34.jpeg

  Edward Chang表示,通过添加上下文,这个系统能够用的指定问题和答案解码感知(听到)的语音准确率达到76%,解码产生(口头)的语音准确率达到了61%。

  4d5305c3a40175e90d16fa510f9114b6.jpeg

  Facebook表示,未来将扩大系统的词汇量,让其能适用在更广泛的领域。

  缘起两年前

  Facebook早在两年前,就开始着手这个项目了。

  2017年4月,Facebook旗下的前沿产品研发团队Building 8负责人Regina Dugan宣布,这家社交网络公司将在未来两年内,开发出一个能以每分钟100字的速度从人脑向外传输语句的“帽子”。

  c637e250d13dc2ae9b936a9e3e3361c8.jpeg

  Facebook设想中的“帽子”,是用来分享你的思维的。此前清华大学也做过类似概念的研究,头戴一个小巧的电极帽,控制屏幕软键盘上的26个字母就能打出任何语句。

  8825175299267a322fd81382c1cb30e6.gif

  Facebook最终计划,是想打造一款AR眼镜。

  Facebook AR/VR业务副总裁Andrew “Boz” Bosworth表示,这个项目的初衷,是想构建一个非侵入式可穿戴设备,让人们只想通过想象他们想说什么来打字,展示未来对AR眼镜的投入和互动成为现实的潜力。

量子位 作者:铜灵 达到当天最大量
新闻排行
  1. 当杨子被命名为“四朵小花”时,有人称赞她说,90年代以后,杨子在这位女演员中非常突出。小编给人留下了深

    当杨子被命名为“四朵小花”时,有人称赞她说,90年代以后,杨子在这位女演员中非常突出。小编给人留下了深...

  2. ?  20:43  来源:这里是吉林吉林共青团)共青团省委和省青年联合会进入武警吉林军团移动分队开展“八一送慰问”活动为加强省军民之间的接触和交流,深化军事和渔业,7月27日上午,省青年联合会青年团成

    ?  20:43  来源:这里是吉林吉林共青团)共青团省委和省青年联合会进入武警吉林军团移动分队开展“八一送慰问”活动为加强省军民之间的接触和交流,深化军事和渔业,7月27日上午,省青年联合会青年团成...

  3. 这是第145届“大喇叭”,为您分享有趣和创新的活动N种水源保护的可能性!一个网罗国内外小水源保护案例,共

    这是第145届“大喇叭”,为您分享有趣和创新的活动N种水源保护的可能性!一个网罗国内外小水源保护案例,共...

  4. 这是第145届“大喇叭”,为您分享有趣和创新的活动N种水源保护的可能性!一个网罗国内外小水源保护案例,共

    这是第145届“大喇叭”,为您分享有趣和创新的活动N种水源保护的可能性!一个网罗国内外小水源保护案例,共...

  5. pixabay作者|余同奎(西南大学计算机与信息科学学院副教授)编辑|杨威6月20日,“科学”杂志发表了一篇题为

    pixabay作者|余同奎(西南大学计算机与信息科学学院副教授)编辑|杨威6月20日,“科学”杂志发表了一篇题为...

  6. 北京青年报消息,近日,甘肃多地出现强降水天气。受暴雨影响,敦煌莫高窟窟区积水增多,窟前大泉河发生山洪

    北京青年报消息,近日,甘肃多地出现强降水天气。受暴雨影响,敦煌莫高窟窟区积水增多,窟前大泉河发生山洪...

  7. pixabay作者|余同奎(西南大学计算机与信息科学学院副教授)编辑|杨威6月20日,“科学”杂志发表了一篇题为

    pixabay作者|余同奎(西南大学计算机与信息科学学院副教授)编辑|杨威6月20日,“科学”杂志发表了一篇题为...

  8. 当杨子被命名为“四朵小花”时,有人称赞她说,90年代以后,杨子在这位女演员中非常突出。小编给人留下了深

    当杨子被命名为“四朵小花”时,有人称赞她说,90年代以后,杨子在这位女演员中非常突出。小编给人留下了深...

  9. 这是第145届“大喇叭”,为您分享有趣和创新的活动N种水源保护的可能性!一个网罗国内外小水源保护案例,共

    这是第145届“大喇叭”,为您分享有趣和创新的活动N种水源保护的可能性!一个网罗国内外小水源保护案例,共...

  10. 05.14下午忠诚评论,三大股指暴跌,A股走向独立市场在美国股市昨晚开盘之前,中国决定提高一些原产于美国的

    05.14下午忠诚评论,三大股指暴跌,A股走向独立市场在美国股市昨晚开盘之前,中国决定提高一些原产于美国的...