LMSYS开源Vicuna-13B,微调LLaMA达ChatGPT九成质量

模型AI 评分 88/100LMSYS:Blog(Chatbot Arena 团队)待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

本条选题由第三方线索发现;线索方提供的摘要未被采用,本页内容依据下方信源整理。线索来源:AIHOT

LMSYS推出开源聊天模型Vicuna-13B,基于Meta的LLaMA架构,使用从ShareGPT收集的7万条用户共享ChatGPT对话进行微调。初步评估显示,以GPT-4作为评判时,该模型能达到OpenAI ChatGPT和Google Bard超90%的能力,并在超90%的情况下优于LLaMA和Stanford Alpaca。其训练耗费约300美元,代码与权重已面向非商业用途公开,并提供了在线演示。当前基于GPT-4的自动评估框架尚不严谨,仍需进一步研究。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

模型训练与数据来源

Vicuna-13B由LMSYS团队研发,基于Meta开源的LLaMA基础模型进行微调。微调数据集来自ShareGPT平台上约7万条用户与ChatGPT的真实交互对话。利用这些高质量的人类对话数据,模型学会了生成更详尽且结构更清晰的回复。整个微调过程的计算花费仅在300美元左右,极大降低了获取高质量对话能力的门槛。

GPT-4自动评估及表现

团队借助GPT-4构建了自动评估框架来衡量模型表现。初步结果显示,Vicuna-13B具备OpenAI ChatGPT及Google Bard超过90%的能力,且在超过90%的对比场景中胜过LLaMA与Stanford Alpaca。不过团队明确指出,利用GPT-4打分虽能产出一致性较高的排序与评价,但目前并非严谨的科学方法,构建完善的聊天模型评估体系仍是开放问题。

开源限制与可用性

Vicuna-13B的源代码、模型权重及在线交互演示均已向公众发布。受限于LLaMA的原始许可协议,该模型仅允许用于非商业用途。这种低成本且逼近主流闭源模型效果的开源方案,为学术研究与社区创新提供了重要基础,但商业化应用仍受约束。

为什么值得看

仅花300美元微调开源模型即逼近ChatGPT效果,为低成本复现闭源能力提供可行路径。

OpenAIGoogleMetaGPTLlama

信源1 家

  1. [1]LMSYS:Blog(Chatbot Arena 团队)线索来自 AIHOTLMSYS 发布开源聊天模型 Vicuna-13B,用 ShareGPT 对话微调 LLaMA,训练成本约 $300

关键事实

  • Vicuna-13B使用7万条ShareGPT对话微调LLaMA,训练成本约300美元[1]

  • GPT-4初步评估Vicuna达到ChatGPT和Bard超90%的质量[1]

  • Vicuna在超90%的情况下优于LLaMA和Stanford Alpaca[1]

  • 代码和权重已公开,仅限非商业用途[1]

相关 · 模型

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。