研究：本地嵌入变换让托管模型收不到原始提示词
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载提示词留在本地
论文关注的问题是：发往托管语言模型的每条提示词，运行方都能读到。作者尝试让提示词文本留在客户端，托管方只收到替代它的变换向量。具体做法是利用语言模型只做一次文本到向量的转换、且该步骤依赖公开查表这一特点，把这一步搬到本地执行，随后让向量经过一个 5560 万参数的小型已训练网络，再离开本地边界。托管方在变换后的向量上运行冻结的 27B 模型 Qwen3.8-27B，既拿不到原始文本，也拿不到 token id。
训练目标与代价
变换网络的训练把冻结模型当作固定评判者，损失包含一个前向 KL 效用项，用来保持输出分布接近原模型，另加一个辅助项，把每个向量推离它原本的方向，以削弱从向量反推原文的可能。效果用两组指标衡量：一是在从训练中留出的 1490 道 MMLU 题上的准确率，二是内容 token 在最近邻查找下能否还原。前者从 82.3% 降到 80.7%，即 1.5 个百分点的损失；后者有 30.1% 的内容 token 不再解码为原 token。
精度损失的具体分布
准确率下降并非均匀发生。未修改模型在 1490 道题中答对 1226 道，加入变换后其中 68 道被破坏，占这部分的 5.5%。这组数字给出了隐私变换在真实题目上的代价轮廓：多数原本正确的回答仍保持正确，但存在一小部分被翻转。结合 30.1% 的 token 不可还原比例，可以看出该方法在隐藏原文与保持效用之间存在可测量的取舍，论文以这两个维度作为评估依据。
为什么值得看
用可量化的精度损失与 token 还原率，衡量托管推理中提示词不出本地的可行边界。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。