EEGazeNet 用脑电信号修正视觉搜索注意力预测

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 论文提出 EEGazeNet,把脑电(EEG)信号接入视觉搜索中的人类注意力预测。方法分两步:先由现有显著性预测模型给出结果,再用 EEG 引导的修正阶段按用户当前认知状态调整输出。作者同时公开 EEGaze 140 数据集,含 36 名参与者在 140 个自然场景下的同步 EEG 与眼动记录,场景分桌面图标查找与杂乱工作台找工具两类。论文称在该数据集上,EEGazeNet 在全部基线与消融条件下均取得更优结果。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

数据集规模与场景

论文的第一项产出是 EEGaze 140,作者称其为目前公开可得的、规模最大的真实刺激自由视觉搜索多模态数据集。数据来自 36 名参与者,覆盖 140 个自然场景,每份记录都把 EEG 与眼动追踪同步采集。场景分两类:在桌面屏幕上查找应用图标,以及在杂乱的车间环境中寻找工具。作者指出,此前心理学相关研究多使用抽象、简化的刺激,或采用人为引导的搜索流程,与真实使用情境存在距离,这一数据集正是为填补该缺口而构建。

方法如何接入脑电

第二项产出是 EEGazeNet,作者称其为首个在视觉搜索的人类注意力预测中整合 EEG 的方法。整体思路是两段式:先由一个当前较优的显著性预测方法给出注意力预测,再通过 EEG 引导的修正阶段,依据用户当下的认知状态对该输出进行调整。这一设计的前提是,注意力分配虽主要由图像内容驱动,但心理学研究表明用户的认知状态同样有显著影响,而 EEG 是获取认知状态信息的一条可行途径。此前计算注意力建模的工作大多未把 EEG 纳入考虑。

评测结果与定位

作者在 EEGaze 140 上做了较完整的评测,结果显示 EEGazeNet 在所有基线与消融条件下都保持更优表现,说明 EEG 引导的修正环节带来了稳定增益。论文归类于人机交互、人工智能与多媒体方向,附有 arXiv 编号与 DOI 链接,并提供 PDF 与实验性 HTML 版本。对做显著性预测、眼动分析或脑机接口相关应用的研究者,可复用的部分是公开数据集与这套以 EEG 修正现有显著性模型的做法。

为什么值得看

把 EEG 纳入注意力建模,并放出目前规模最大的真实场景自由视觉搜索多模态数据集,对做眼动、显著性预测与人机交互的研究…

论文数据集

信源1 家

  1. [1]arXiv cs.AI一手信源EEGaze: Multimodal Attention Prediction in Visual Search via EEG-Based Saliency Refinement

关键事实

  • 论文提出 EEGazeNet,是首个在视觉搜索注意力预测中整合 EEG 信号的方法[1]

  • EEGaze 140 含 36 名参与者在 140 个自然场景下的同步 EEG 与眼动记录[1]

  • 数据集覆盖桌面图标搜索与杂乱工作台找工具两类场景[1]

  • 方法用 EEG 引导的修正阶段调整现有显著性预测模型的输出[1]

  • 论文称 EEGazeNet 在全部基线与消融条件下均优于对比方案[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。