研究提出用陈述偏好经济学框架评估大模型

当前大模型面对诸多无标准答案的问题，陈述偏好经济学已处理该难题数十年。其通过内容、建构、准则效度及可靠性等概念评判回复。作者将该框架用作大模型通用评估法，并以水质调查测试六个模型。经济效度测试表现为需求向下倾斜、支付意愿随范围与收入变动。两旧模型在7.5万美元收入水平未通过基础测试，两新模型通过所有理论效度测试但在收敛效度上存分歧。通过测试仅证答案连贯而非正确。