本地小模型信息抽取研究：批处理降能耗85%，文档类型决定最优管线
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载本地小模型的两条路线
这项研究关注的是在本地完成信息抽取的可行方案，前提是排除云端服务，让隐私敏感的文件留在本地处理。可选的做法分成两类：一类是只处理文本的小模型，另一类是能同时看图像与文字的视觉语言模型，两者的参数量都不超过 8B。研究把输入表示、模型家族和推理配置组合成一个设计空间，在准确率和能耗两个维度上同时评估，而不是只看抽取结果对不对。测试用的文档来自两个方向：Kleister-NDA 合同接近纯文本，VRDU 表单则版式复杂。研究想回答的问题很具体——同一套流水线，面对不同版式的文档，究竟该把页面当成图像处理，还是先解析成文字再处理。
批处理是省电关键
在能耗方面，批处理被认定为最主要的调节手段。把请求成批送入模型，可以让每页消耗的能量明显下降，而且准确率不会因此受损。量化方面，FP8 在请求逐条处理时能带来可观的节能，但一旦采用批处理，它节省的幅度就收窄到每页不到 1mWh。换句话说，量化的收益会被批处理部分抵消，两者并非简单叠加。预处理环节同样占据大量能耗：神经 OCR 每页消耗的能量远高于传统 OCR，并且始终无法进入帕累托前沿，也就是在准确率与能耗的权衡中不占优势。这些结论指向一个顺序：先考虑批处理，再考虑量化，最后才在预处理方式上做取舍。
表示方式随版式翻转
哪种输入表示更优，答案会随文档类型改变。面对版式丰富的文档，视觉语言模型表现更好；而面对接近纯文本的文档，搭配廉价解析器的小型纯文本模型反而胜出，既更准确也更省能耗，任何视觉语言配置都比不上。这意味着不存在一条通吃的流水线，选择取决于文档本身的版式特征。研究据此给出面向本地、兼顾隐私与能效的信息抽取建议。对需要在本地处理文件的读者来说，这意味着可以先判断文档是偏纯文本还是偏复杂版式，再决定走文本路线还是视觉路线，并在推理时优先启用批处理。
为什么值得看
为隐私合规的本地信息抽取提供具体节能指南，明确批处理降耗效果及不同文档下模型选型策略。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。