百度开源文心Unlimited OCR 2，KV缓存峰值降约96%
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载缓存从47GB到1.77GB
长文档识别的显存压力主要来自KV缓存：页数越多，模型需要保留的中间信息越多。文心Unlimited OCR 2在技术报告的百页级单序列测试中给出对比，标准解码会把所有页面的视觉缓存同时留在显存中，峰值占用达47GB，而新方案降至1.77GB，降幅约96%。这一数字仅指KV缓存，模型权重等其他开销另算。对需要一次处理整套书的场景，这意味着显存门槛显著下降。
两层筛选怎么少算
上一代采用参考滑动窗口注意力机制R-SWA，虽已降低推理阶段缓存，但回看时所有输入页面的视觉信息仍参与注意力计算，大量内容与当前识别的几行字无关。第二代改为SR-SWA：第一层Page Gate根据当前解析位置，把候选视觉信息收拢到相关页面；第二层Token Sieve在选定页面内用信息块简要表示算相关性，通过TopK挑出得分最高、数量固定的信息块，并仍读取块内具体视觉信息。筛选结果与固定大小的局部滑动窗口共同参与解析，使每一步参考的信息量被框住，文档变长不会推高单步开销。
少存配合少算
每页图像经DeepEncoder编码为视觉Token，生成解析结果时需存下对应KV缓存供复用。若一次性读入整份文档并保留所有页面缓存，未被当前计算使用的页面也会占用显存。文心Unlimited OCR 2在减少计算的同时控制缓存留存，配合持续解码机制连续处理超长文档。架构上延续上一代基础设计，关键变化发生在语言模型内部的注意力机制升级。
开源与社区基础
上一代Unlimited OCR凭多页文档连续解析能力在开源社区积累人气，累计下载量超过1000万，GitHub约2.86万Star，社区制作在线Demo、支持SGlang推理等适配持续推进。第二代已在Hugging Face和GitHub正式开源，演示覆盖7部《哈利·波特》3600+页与《三体》全集1200+页的连续识别转写。
为什么值得看
长文档OCR的显存瓶颈被大幅压低，开源可直接试用，适合需要处理成百上千页文档的团队评估。
信源1 家
关键事实
相关 · 工具
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。