快手部署SEEK框架，无需重训即可更新搜索评估规则
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把评估标准搬出模型
工业搜索的质量评估长期依赖人工，大模型被视为可规模化的替代路径，但落地并不顺利。用户实际感受到的是整个结果页，而适用的评估标准却是多维且不断变化的。把全部标准塞进一个提示词，会引入无关上下文并造成标准之间互相干扰；改用后训练把标准内化进模型，又会让规则更新与昂贵的重训周期绑死。SEEK 的做法是把具体的搜索评估标准外置成一个技能库，针对每一个查询与结果列表的组合，动态路由出相关的技能，再由一个面向任务适配的列表级评估器给出页面级判断和失败模式归因。这样标准与模型参数解耦，更新标准不必触碰模型权重。
两阶段训练对齐偏好
评估器并非直接可用，SEEK 用一套两阶段的训练流程，让它在判断标准上与人类偏好对齐。第一阶段的训练为后续的列表级评估打基础，第二阶段则把评估行为进一步校准到人的取舍上。与之配套的是一个带重放门控的技能库：当评估过程中反复出现同一类知识缺口时，这类缺口可以被补充进技能库，而不需要重新训练模型。重放门控的作用在于控制新知识进入的节奏，避免技能库被零散、偶发的案例不断稀释。这一机制针对的正是前两种路线的痛点——统一提示词带来的标准干扰，以及后训练路线中规则更新与重训成本强耦合的问题。
短视频搜索的实测
在工业短视频搜索上的实验显示，SEEK 提升了列表级质量评估的准确率，在归因诊断方面也取得了明显进展。归因诊断指的是在判定结果页质量之后，进一步指出问题出在哪个失败模式上，这对搜索系统的迭代方向有直接价值。该方案已在快手部署，这是一个日活跃用户超过四亿的短视频平台，部署后线上搜索评估的规模与质量都有显著改善。对关注搜索评估的读者而言，这意味着评估标准可以像配置一样被维护和扩充，而不必每次调整都走一遍模型训练流程；同时评估输出从单一分数扩展到页面级判断加失败归因，更贴近用户真实感知结果的粒度。
为什么值得看
解决大模型评估搜索时标准更新与重训解耦难题，已在4亿日活平台验证，对搜索与推荐系统评估有直接参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。