论文提出 EnterpriseVal 评估系统，量化企业生成式 AI 效能与价值
论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
针对企业生成式 AI 项目多因缺乏可衡量业务效果而失败的问题，EnterpriseVal 提出用例级评估系统。它将公开基准的“模型能力”测试转向特定工作流下的适配度、可靠性与安全性评估。系统包含五部分：冻结配置的形式化规范、六维度指标目录、结合盲审专家与校准 LLM 评判的评分协议、映射至 REJECT/CONDITIONAL/SCALE 决策的双层阈值门控，以及以审查捕获率为参数的风险价值模型。在全球银行试点中，信用备忘录起草的最佳模型引用精确度达 88%（门控 70%），幻觉率 1.6%（门控 5%）；流程转换使单文档分析师修改耗时从 27.4 小时降至 2.9 小时。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载评估范式转移
当前前沿语言模型虽在大量经济价值任务上产出媲美人类的成果，但多数企业生成式 AI 项目无法展示可测量的业务影响，大量智能体项目面临取消。论文指出这本质是测量问题：公开基准测试仅回答模型通用能力，而企业部署决策需回答特定工作流在自有数据与控制下的适配度、可靠性、安全性与扩展价值。EnterpriseVal 由此提出从通用能力测试向用例级评估的范式转移。
系统核心构成
该系统包含五个核心组件：一是对用例及冻结社会技术配置（含模型、提示、检索、工具、护栏与人工监督）的形式化规范，其自主级别与后果层级共同决定所需评估强度；二是涵盖保真度、效用、效率、可靠性、保证与监督六维度的指标目录；三是通过预测驱动推断，结合盲审专家判断与校准后 LLM 评分的评分协议；四是将带置信区间的指标向量映射为拒绝、有条件通过或规模扩展决策的双层阈值门控算法；五是将审查捕获率作为测量参数的价值与风险模型。
银行试点数据
研究在全球银行三个工作流中开展试点。在信用备忘录起草任务中，人类评分显示最佳模型的引用精确度达到 88%，幻觉率仅为 1.6%，均优于 70% 和 5% 的门控阈值。在流程转换任务中，分析师对单文档的修改耗时从预估的 27.4 小时大幅降至 2.9 小时。论文明确区分了已确立结果、试点证据、拟议系统与开放假设，并指明了完整验证所需的实验。
为什么值得看
提供从模型能力到业务部署决策的量化评估框架，解决企业 GenAI 项目难以衡量效果与规模化的痛点。
量化幻觉安全论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。