研究发现AI深度学习也有类似“前额叶皮层”,杨立昆点赞

2022-06-23 21:25:07

  Jean-Rémi King在推特上发布的演示中展示了AI模型与人脑相互对应的结构:听觉皮层与Transformer的第一层最吻合,而前额叶皮层则与Transformer的最深一层最吻合。

  Wav2Vec 2.0 接受了600小时的语音训练,这大致相当于新生儿在语言习得的早期阶段所接触的内容。研究人员将此模型与412名志愿者的大脑活动进行比较。

  科学家让参与者听一小时自己母语的有声小说,然后对他们的大脑做功能性磁共振成像 纪录。研究人员将这些大脑活动与Wav2Vec 2.0模型的每一层以及几个变体进行比较,包括随机Wav2Vec 2.0 模型、在600小时非语音上训练的模型、在600小时非母语语音上训练的模型、在600小时母语训练的模型和直接在参与者母语的语音到文本上训练的模型。

  首先,Wav2Vec 2.0使用自监督学习来获取语音波形时的表现类似于在人类大脑中看到的。其次,Transformer层的功能层次与大脑中语音的皮层层次相吻合,这以前所未有的细节揭示了语音处理的全脑排列。第三,该模型对听觉、语音和语言的表征与人脑的表征趋同。第四,对模型与另外386名人类参与者进行的语音辨别练习行为比较表明一种共同的语言专业化。

  但也有一些批评声音,如加利福尼亚大学洛杉矶分校的神经科学博士后Patrick Mineault就有些怀疑这篇研究是否真的测量了人类大脑的语音处理过程。因为相比于人说话的速度,fMRI测量信号的速度其实非常慢,这意味解释结果时需要非常谨慎。Mineault也表示自己并非认为研究不可信,但这项研究需要给出一些更有说服力的数据。

  Meta AI实际上一直在寻找AI算法与人类大脑之间的联系。此前Meta AI宣布,他们将与神经影像中心Neurospin和INRIA合作,试图解码人类大脑和完成语言任务训练的深度学习算法如何对同一段文本作出反应。

  举个例子,如通过在一个人主动阅读、说话或聆听时,将人脑扫描与深度学习算法进行比较,并给出相同的单词和句子集进行破译,研究人员希望找到大脑生物学和人工神经网络之间的相似之处以及关键的结构和行为差异,帮助解释为什么人类处理语言的效率比机器高得多。

下一篇:俄罗斯一架安2飞机失踪
上一篇:6月下旬XGP新增:《永劫无间》《三国全战》《孤岛惊魂5》等
返回顶部小火箭