研究显示视频时间先验可作EEG-fNIRS情感回归强基线
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把视频与时间当基线
这篇论文关注的是连续情绪回归任务，也就是在观看视频的过程中，逐时刻估计效价与唤醒度。作者提出的做法是把视频身份和视频内的时间位置当作先验信息，用它们构成一个低成本的基线模型。在熟悉视频的部署场景里，训练阶段得到的响应是针对特定参与者估计出来的，因此作者设计了一种以先验为主导的固定融合方式，用来检验生理信号是否还能提供额外的残差修正。换句话说，模型先依赖视频与时间这两类信息给出预测，再看脑电与近红外信号能否在此基础上补足剩余误差。
留出被试的评估方式
评估采用五折、以被试为留出对象的划分方式，参与人数为 24 人。作者把融合模型与仅依赖先验的基线放在一起比较，报告了两组误差差距：在内部评估中，基线与融合结果的 MAE 相差在 0.05 以内；在外部评估中，这一差距为 0.32。这两个数字说明，在熟悉视频的条件下，单靠视频与时间先验就能逼近加入生理信号后的表现，而生理信号带来的改善相对有限。
消融指向误差来源
作者还做了来源显式的消融实验，把不同信息源对误差下降的贡献拆开来看。结果显示，视频身份与视频内时间这两项解释了大部分误差下降；相比之下，脑电与近红外融合带来的增益更小，并且在不同参与者、不同视频之间波动明显。这一结果把视频—时间先验定位为一个表现强劲且成本较低的基线，同时把脑电与近红外信号放在可选残差信号的位置上，而不是必需的主干输入。
对使用者的含义
对打算在熟悉视频场景中做情绪回归的读者来说，这项工作的提示是：先建立视频与时间先验的基线，再决定是否引入生理信号，可能比直接堆叠多模态融合更划算。由于生理通道的增益因人因片而异，是否采集脑电与近红外需要结合具体参与者与素材来判断。论文同时归入人工智能、计算机视觉与模式识别、多媒体等方向，相关代码与数据链接在页面中提供。
为什么值得看
揭示熟悉视频场景下生理信号情感计算增益有限，为相关系统设计提供低成本替代思路。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。