首项LLM生成古典阿拉伯Maqamat受控评估研究发布
论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
该研究首次对大语言模型生成古典阿拉伯散文体裁Maqamat进行受控评估，对比五款模型在零样本、少样本及基于规则提示下的表现。评估维度涵盖修辞丰富度、押韵散文密度、结构连贯及风格真实性。结果显示提示策略对风格质量影响显著：少样本提示最能有效提升押韵密度；GPT-4o与GPT-5.4-mini在修辞和连贯上最受益于基于规则的提示；而零样本提示在五模型综合得分上最高。研究还发现各模型在遵循Maqamat风格惯例上存在系统性差异。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载评估背景与维度
大语言模型在创意文本生成上表现强劲，但针对具有文化根基与严格风格限制的文学体裁，其能力尚待挖掘。过往研究多聚焦现代语言变体与诗歌，而古典散文传统如Maqamat则鲜有涉及。Maqamat作为一种古典文学体裁，以押韵散文、密集修辞装饰及片段式叙事结构为特征，这使其成为检验模型能否超越表面流畅度、实现深层文学胜任力的严苛测试基准。本研究通过人工标注与LLM-as-a-judge框架，从修辞丰富度、押韵密度、结构连贯性及风格真实性等维度对生成结果展开评估。
提示策略与模型表现
研究对比了五款模型在三种提示策略下的输出。提示策略对风格质量发挥重要作用：少样本提示在提升押韵密度上效果最为稳定，但对修辞与连贯性的影响随模型而异。表现最强的GPT-4o与GPT-5.4-mini在这两个维度上从基于规则的提示中获益最大。然而，零样本提示却在全部五款模型的综合得分中拔得头筹。此外，各模型在与阿拉伯Maqamat风格惯例的对齐程度上呈现出系统性差异。
结论验证与补充
为确保评估结论的可靠性，研究团队采用了多种补充验证手段。除了主评估框架外，还引入了第二个独立的LLM裁判进行结果印证，并辅以配对统计显著性检验。同时，针对押韵散文这一核心特征，研究还使用了非LLM代理指标进行度量，进一步巩固了关于不同模型及提示策略在风格对齐与生成质量上差异的发现。
为什么值得看
首次将LLM生成能力评估拓展至文化底蕴深厚且风格受限的古典阿拉伯散文，揭示了不同提示策略对特定文学体裁生成的差异化影响。
GPT
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。