Sci Data：自然语境、多说话者、双模态，“BABA” 开启 OPM-MEG 语言研究新篇章

 

随着认知神经科学研究逐渐转向自然场景和真实语境的探索，研究者开始采用电影、播客、有声书等复杂的自然语料，来探究人脑在真实语境中对语言的理解机制。相比传统使用简化、人工刺激的实验范式，自然主义设计更贴近日常交流情境，能够保留语言理解过程中真实存在的时间动态、语境丰富性与社会互动特征。然而，目前大多数脑影像研究仍聚焦于单一说话人或双人对话情境，难以充分揭示现实生活中，多说话人交流所涉及的复杂认知过程以及神经活动。

 

 

为填补这一研究空白，香港城市大学李吉星教授团队联合四川大学华西医院孟照莉教授团队及上海外国语大学蒋晓鸣教授团队，近日在国际综合性期刊 《Scientific Data》（IF = 6.9） 上发表论文：《Naturalistic fMRI and MEG recordings during viewing of a reality TV show》。该研究首次构建并公开发布了一个结合 功能磁共振成像（fMRI）与脑磁图（MEG） 的自然场景听视觉数据集，为探索“现实世界中语言与社会认知的神经机制”提供了重要资源。

该研究首次构建了一个结合“fMRI与原子磁强计脑磁图（OPM-MEG，由北京昆迈医疗科技有限公司自主研发）”的自然场景听视觉数据集——BABA 数据集。研究以中国热门真人秀《爸爸去哪儿（第一季）》为实验刺激（25分钟），受试者在观看节目片段的同时接受神经影像扫描（图1），研究团队同步记录他们在多说话人互动、情绪交融的自然交流场景下的大脑活动。这一设计高度还原了真实社会交往情境，具有极高的生态效度。此外，实验结束后，还记录受试者静息状态下回忆节目内容的影像数据，为研究记忆巩固与语言理解后的持续脑活动提供了独特视角。

通过fMRI 跨被试相关性分析（ISC）显示，左侧颞叶及双侧枕叶在观看视频时脑活动高度一致（图2）。广义线性模型（GLM） 分析表明，音高和音强度主要引起双侧上颞叶活动，而说话人切换事件显著激活右侧颞顶结合区（TPJ）（图3）。

此外，研究团队为视频内容提供了逐字转录及语言学注释（图1），并以标准化格式公开了所有数据和代码（图5），方便全球研究者进行复现与二次开发。BABA 数据集的发布为探索自然语境下语言理解、社会互动及多模态脑网络机制提供了宝贵资源，也为未来脑科学与人工智能融合研究奠定了开放共享的基础。

图5 数据集架构描述

 

 

香港城市大学李吉星教授为本研究的第一/通讯作者，四川大学华西临床医学院耳鼻咽喉科学专业在读博士研究生王强为共同第一作者，上海外国语大学蒋晓鸣教授为共同通讯作者，四川大学华西医院耳鼻咽喉头颈外科孟照莉教授为最后通讯作者。本研究得到了香港城市大学启动基金 7020086、香港城市大学战略研究基金 7200747（JL）、四川大学华西医院“1·3·5”卓越学科临床研究孵化项目（2020HXFH025）以及上海外国语大学语言科学与多语言人工智能重点实验室开放课题的资助。

 

 

 

李吉星 教授

 

香港城市大学

 

 

孟照莉 教授

 

四川大学华西医院耳鼻咽喉头颈外科

 

 

蒋晓鸣 教授

 

上海外国语大学

 

 

王强

 

四川大学华西临床医学院耳鼻咽喉科学专业 在读博士研究生