研究显示学生接受AI反馈但坚持人类评分

论文AI 评分 45/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一项针对沙特公立大学13名男生的定性研究显示,学生明确得知评分和反馈来自ChatGPT后,认为AI反馈有助于表层修改,但坚持人类教师应掌握评分决定权。研究将此现象归纳为“反馈效用”与“评价权威”的区分。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

手写作业交给AI评分

这项研究在一所沙特公立大学的本科技术沟通课程中展开,参与对象是十三名男性计算专业本科生。研究安排了一次课堂内的手写作答任务,学生完成后,把纸质答卷扫描成电子文件,再交由ChatGPT依据与任务目标相匹配的评分量表提示词进行评阅,由它给出分数与反馈。随后,研究者明确告知学生,这次的评分和评语来自ChatGPT,而不是授课教师,并请他们以书面形式写下对这次评价的看法。研究采用归纳式主题分析处理这些文字材料,最终归纳出四个主题:对反馈有用性的感知、对AI在情境理解与教学层面局限的认识、有条件的信任,以及关于人类教师在制度与教学中角色的思考。这一设计的关键在于“透明”:学生事先知道评价主体是机器,研究关注的正是这种知情状态下的解读方式,而非在不知情时对AI评语的笼统好感。

改得动句子,定不了分数

从学生的反馈看,他们对GenAI评语的接受是有边界的。参与者认可这类反馈在表层修改上的价值,例如措辞、语句层面的调整,认为它有助于润色文字。但一旦涉及分数本身,学生普遍把人类教师放在更合适的位置上,认为评分决定权应当由教师掌握。研究把这种现象概括为“反馈效用”与“评价权威”的区分:在学生眼里,这两件事是分开判断的两个问题,而不是同一把尺子上的两端——不是“越信任AI就越不接受教师”,也不是简单的全盘肯定或全盘否定。换言之,AI可以是一个有用的修改助手,却不被视为有资格作出评判的主体。这一发现补充了以往多关注GenAI反馈能否提升写作表现、学生是否觉得好用的研究视角,把注意力转向学生在被告知评价来源后如何理解评价本身。

知情告知改变解读方式

与常见的AI辅助评分尝试相比,这项研究的差异不在模型或量表,而在告知环节。以往不少工作考察的是GenAI生成的反馈是否改善写作,或学生对这类反馈的观感,而对“学生明确知道评分来自AI而非教师”这一情形下的理解过程,了解相对有限。该研究把告知作为研究设计的一部分,让学生在被明确说明来源之后进行书面反思,从而捕捉他们对评价主体身份的判断。适用范围上,样本为十三名男性计算专业本科生,场景是一门本科技术沟通课程的课堂手写任务,评阅工具为ChatGPT,提示词为与任务目标对齐的量表式提示。这些条件限定了结论的边界:它呈现的是特定课程、特定学生群体在知情条件下的看法,不宜直接外推到其他学科、其他评价形式或其他工具配置。研究本身定位为定性教学探究,产出的是主题而非可量化的效应。

对教学安排的提示

对关注AI进入课堂评价的读者而言,这项研究提供的直接信息是:把评分来源告诉学生,并不会让他们把评判权一并交给机器。学生能够把“这条反馈对我改文章有没有用”和“谁有资格给我的作业定分”分开来看,前者可以接受AI参与,后者仍倾向于保留给人类教师。研究因此提出,反馈效用与评价权威是学生分别处理的两类判断。这意味着在课程中引入AI评阅时,明确说明哪部分由AI生成、哪部分由教师决定,可能是学生能够理解和接受的做法;而评分环节的最终归属,仍是学生关注的重点。需要说明的是,这些结论来自一次小规模定性探究,反映的是参与者在特定任务与告知条件下的书面反思,不构成对AI评分效果的普遍结论。

为什么值得看

揭示了学生对AI辅助评估的复杂态度,区分了工具辅助与决策权威。

GPT

信源1 家

  1. [1]arXiv cs.AI一手信源Who Should Grade My Work? Student Perspectives on Transparent AI-Assisted Writing Assessment in Higher Education

关键事实

  • 研究涉及13名沙特公立大学计算专业男生,使用ChatGPT对手写作业进行评分。[1]

  • 学生认为AI反馈对表层修改有用,但坚持人类教师应掌握评分权威。[1]

  • 研究归纳出学生将反馈效用与评价权威视为两个独立的判断维度。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。