AICODER大前端培训

AICODER-IT培训专家,前端培训基地,前端培训,全栈培训,大学生IT培训基地,线上IT课程免费自学,线下培训项目实战,实习,html5培训实习-AICODE程序员

在线咨询

Cerebral Cortex:感知视觉对象靠什么?这个研究为你刨根问底

谦太祥和 发布于: 2019年7月15日 20时15分47秒 阅读580次

  来源:brainnews(ID:brainnews)

  当看远处和模糊的东西时,声音可以帮助我们更好地感知。Talia Brandman 和他的研究团队使用脑磁图(MEG)来证明物体自然发出的声音(e.g., neigh)和语义(e.g., horse)可以帮助视觉对象的感知


图源:hecenterforvision.com

  在日常生活中,我们依靠传感器集合信息来感知周围的事物。行为研究表明,在各种任务中,听觉信息会影响我们对视觉对象的感知,包括对视觉对象的察觉、识别、分类和视觉搜索(Chen and Spence 2011; 2018; Edmiston and Lupyan 2015; Iordanescu and others 2010; Kim and others 2014; Vallet and others 2013; Weatherford and others 2015)。

  理论上,听觉信息有两种途径帮助获得视觉感知

  • 一种是语义路线,比如听到马叫声(neigh),翻译和转化为语义表征(horse),然后加工成视觉对象;
  • 另一种路线是直接的,声音自动激活视觉皮层中与声音相关的物体表征,绕过语义标注

  直接的视觉—听觉映射使视觉对象和发出声音共存于大脑。比如当我们听到马叫时,可能看到了(或者预期看到)一只马。另一方面,单词不一定会与真正的视觉对象同时出现,比如听到马 horse 这个单词,我们不一定真正的看到了一只马。(Fig.1A)


Fig.1

  电生理学研究表明,在视觉触发 80ms 后,视觉信号会在头皮的多变量反应模式中得到体现(Carlson and others 2013; Cichy and others 2014)。

  还有研究表明,在视觉触发 300ms 后,视觉对象的感知不仅依靠前馈视觉对象信息,还依赖外部背景场景(Brandman and Peelen 2017)。

  本实验沿用以前的研究方法,使用 MEG 信号测量感知模糊物体图片信息的时间。然后,视听结合,测试物体声音和单词对视觉对象感知的影响。

  实验假设为如果物体自然的声音直接激活大脑中的物体表征,绕过语义标注,那么物体声音对视觉对象的感知比语义要早;或者物体自然声音借助语义路线,那么物体声音和语义对视觉对象的感知影响是相同的。

  在本研究中,提出了两个假设模型

  • 物体声音比单词更快地帮助感知视觉对象,属于直接映射,物体声音解码准确度用红线表示;
  • 或者声音和单词具有同样速度感知视觉物体,对应于间接路线,自然语音解码准确度用蓝线标出。(Fig.2)


Fig.2

  实验设计 

  在 Fig.3A 中,上半图表示在视听实验中,呈现有生命和无生命虚化(模糊)物体的图片并配有声音;下半图表示有生命和无生命的清晰(高分辨率)图像,没有声音。( Konkle and Oliva 2012);在 Fig.3B 中,使用物体声音、口语单词和噪音,以及相同大小灰色矩形作为实验材料。分类器通过训练解码分析 MEG 传感器上辨别有无生命和无生命物体图像,最后计算得到四个变量每个时间点上的数据平均值。


Fig.3

  实验结果 

  时间矩阵呈现了从视觉触发到 600ms 的时间间隔点上的视觉信息解码结果。被试交叉解码有生命物体并没有声音的图像时,在 200 毫秒左右感知准确度达到峰值(Fig.4A)。

  随机交叉解码有生命物体图像,虚化并配有声音图片,取主体间数据平均值(black outline, threhold free cluster enhancement TFCE 1-tail p<0.05),分别是在(左上)物体声音、(右上)单词、(左下)噪音,(右下)灰色没有物体图形的矩形条件下得到的数据结果(Fig.4B)。

  虚化图片具有信息性的听觉线索(物体声音或单词)的解码明显优于噪音(paired; TFCE 1-tail p <0.05)随机交叉解码。与噪音相比,物体声音(左)和单词(右)都显著影响感知物体表征的准确度。(Fig.4C)


Fig.4

  对感知物体表征产生影响的物体声音和单词间的时间关联

  那么,物体声音和单词在帮助感知视觉物体表征的速度方面哪个更快?结果显示,单词比物体声音出现更早时间集群(Fig.5A)。为了直接测试物体声音与单词影响虚化图片的解码时间差异,作者成对比较所有条件下和所有时间点的视听实验(包括噪音)解码。

  数据显示,被试视觉触发后,在 450-510ms 之间的多个时间点处,物体声音比单词感知模糊图像更准确(paired; TFCE 2-tail p <0.05),并且在视觉触发后 300-410ms 之间的多个时间处,单词比物体声音感知更准确(paired; TFCE 2-tail p <0.05)。

  这表明物体声音和单词促进了不同时间阶段的虚化物体表征感知。尤其是在重建有生命的视觉表征时,单词比物体声音更快。

  声音是如何影响不同时间点上的物体感知的?

  参考 Fig.2 两个模型,最后得到的实验结果并不支持物体声音比单词更快地感知物体这一假设模型。相反,单词比物体声音更快地帮助感知物体,所以否定了最初的两个假设模型。

  那么这种差异是否可以通过语义表征强度来调节?物体声音主要依靠语义帮助感知物体,那么某些模糊的声音可能会损害感知效果。基于此,进行了在线行为实验,新的一组被试要求感知 MEG 中使用的声音,没有视觉输入。根据 22 个相对虚化的声音得到的 MEG 数据,对比清晰声音下的图片感知,分析具有声音的虚化物体的交叉解码精度。

  在较早时间簇(~300-400 ms; Fig.5A)上的单词比清晰的物体声音帮助感知物体的优势不再显著(paired; TFCE 2-tail p> 0.05),并且清晰的物体声音优于单词 (paired; TFCE 2-tail p <0.05)在稍后的时间簇中(~400-500)被保留。

  通过类似的训练和测试,在时间(±20 ms)内提供解码精度(minus chance:50%),来说明 Fig.5B 中,单词、物体声音和更清晰的物体声音促进物体感知。

  物体声音和清晰声音对虚化物体的解码在视觉开始后 460ms 达到峰值,明显优于单词(paired; TFCE 2-tail p <0.05)。在视觉开始后,单词对虚化物体的解码在 350 毫秒处达到峰值,明显优于用物体声音和清晰的物体声音(paired; TFCE 2-tail p <0.05)。此外,具有清晰物体声音的虚化物体的解码似乎在视觉开始后 390ms 处显示出新的峰值,在时间上更接近于单词峰值。


Fig.5

  总之,实验结果表明,物体声音和单词通过语义路径帮助感知视物体表征提供了证据,其中听觉输入激活了语义表征,对物体的视觉对象感知处理起到了促进作用

  文章来源:

  Talia Brandman, Chiara Avancini, Olga Leticevscaia, Marius V Peelen, Auditory and Semantic Cues Facilitate Decoding of Visual Object Category in MEG, Cerebral Cortex, , bhz110, https://doi.org/10.1093/cercor/bhz110Brain Structure and Function. doi:10.1007/s00429-019-01835-7

  作者信息

  解读作者:天娇(brainnews 创作团队)
  校审:Simon(brainnews 编辑部)

 

AICODER编辑推荐:



报名就业班送基础班

最近分享