本网讯(通讯员 李菁菁)近日,人工智能学院大数据与人工智能团队与陕西师范大学的合作研究成果《CIMD: Cognitive Inspired Multi-perspective Descriptions for EEG-Image Alignment》被计算机图形学与多媒体领域国际会议ICME 2026 (IEEE International Conference on Multimedia and Expo)录用。论文第一作者为我校李菁菁博士,第二作者为我校硕士研究生刘鑫奇,通讯作者为我校黄鑫博士,南阳师范学院为第一通讯单位。
ICME由国际电子技术与信息科学工程师协会(IEEE)主办,是计算机图形学与多媒体领域最具代表性的国际学术会议之一,也是中国计算机学会(CCF)推荐的B类国际学术会议。ICME 2026将于2026年7月5日在泰国曼谷召开,本届会议共收到3,810篇有效投稿,接收率约为28.89%。


成果概述:
脑电(EEG)图像检索是脑机接口领域中实现神经信号与视觉刺激语义关联的重要任务。由于EEG信号具有较强的抽象性与个体差异,而图像模态信号包含丰富的细粒度视觉语义,二者之间存在显著的模态鸿沟,容易造成跨模态语义对齐不充分,进而制约检索性能的提升。针对上述难题,本文提出了一种面向EEG-图像细粒度对齐的认知启发多视角描述框架(CIMD)。具体而言,首先设计认知引导的多视角描述模块(CMD),结合EEG相关认知特征,从全局、颜色和情感三个视角借助多模态大模型生成认知启发的文本描述,作为连接EEG与图像的语义桥梁,从而缓解两种模态之间的信息差异;其次,提出认知驱动的多模态对齐模块(CMA),利用上述多视角文本描述引导预训练模型微调,构建统一的EEG、图像与文本共享嵌入空间,以实现更精细的跨模态语义对齐;此外,为在提升模型适应性的同时保持其泛化能力,进一步引入正则化策略,对微调过程中的特征漂移进行约束,实现有效的跨模态脑电图像对齐。上述工作得到了国家自然科学基金、教育部人文社科项目的支持。