arXiv论文提出低参数正交矩阵的黎曼优化与LLM微调算法
论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
Ali Aliev与Maxim Rakhuba在arXiv发文，针对由块对角因子与固定置换交织而成的低参数正交矩阵族，基于黎曼几何推导了正交双因子情形的流形结构与核心计算工具。所提算法利用自动微分、支持因子内参数共享且规避显式稠密矩阵构建，在最佳矩阵逼近及大模型参数高效微调任务中完成验证。研究还探讨了含更多块对角因子分解的几何与矩阵论性质。
为什么值得看
为深度学习架构中兼顾表达力与效率的正交矩阵提供了免稠密构建的黎曼优化工具，直接赋能大模型参数高效微调。
大模型微调论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。