论文提出统一边际效用与KV缓存的理论框架
论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一项研究建立了经济学边际效用与矩阵分解、Transformer KV缓存之间的理论联系。该框架将缓存驱逐和低秩压缩视为内存预算下的约束效用最大化问题，提出保留特征值超过约束影子价格的维度。在地质采矿文档信息提取任务中，该框架指导了多轮推理协议和分层TIES模型合并。实验显示，一个参数量约1120万的分类器在单GPU上训练约五分钟后，测试集准确率达90%，延迟为每卡2.62毫秒，优于某专有模型。
为什么值得看
为KV缓存压缩和模型合并提供了新的经济学解释与量化准则。
GPU论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。