arXiv 论文实证检验 LLM 做表格特征选择的效果

10月21日周三 01:18论文AI 评分 62/100arXiv cs.AI

AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇 arXiv 论文在 18 个数据集上比较了 LLM 选择器与经典统计特征选择方法。框架包含 10 个用于 GRPO 训练的数据集、2 个用于检查点验证、6 个留出评估集；对比对象为五个经典基线、冻结的 Qwen2.5-7B 与 Llama-3.3-70B，以及两个经 GRPO 适配的 Qwen2.5-7B。结果显示，在约 33% 特征预算且经典方法严格只用训练集拟合的条件下，经典选择器在分类 ROC-AUC 与回归 R^2 上总体优于被测的 7B LLM/RL 选择器，后者能保留更紧凑的特征子集。语义敏感性实验显示，Zero-shot Qwen-7B 在特征名有信息量时回归 R^2 比匿名化和打乱特征名分别高 0.1964 和 0.1606，分类提升较小且依赖数据集。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

研究设计与对比对象

论文要回答的问题是：LLM 能否借助语义特征名和汇总统计量改进表格特征选择，以及这种信息在什么条件下优于成熟的统计方法。作者搭建了 18 个数据集的实验框架，其中 10 个用于 Group Relative Policy Optimization（GRPO）训练，2 个用于检查点验证，6 个作为留出评估集。对比阵容包括五个经典基线、两个冻结的 LLM 选择器（Qwen2.5-7B 与 Llama-3.3-70B），以及两个经 GRPO 适配的 Qwen2.5-7B 模型。评价指标按任务分开报告：分类用 ROC-AUC，回归用 R^2，并用数据集层面的排名做跨任务比较，评估在五个带随机种子的划分上重复进行。

经典方法仍占上风

在预测性能上，经典选择器总体高于被测的 7B LLM/RL 选择器。这一结论在预先设定的约 33% 特征预算下成立，且经典方法严格只在训练集上拟合，避免了信息泄漏带来的虚高。LLM 一侧的优势体现在子集规模上：7B 选择器能给出更紧凑的特征子集。换言之，若目标是预测精度，现有统计基线依然很难被 7B 规模的 LLM 加强化学习流程超越；若目标是压缩特征数量，LLM 方案有其价值。

语义特征名的收益边界

作者设计了特征数量匹配的语义敏感性实验，比较有信息量的特征名、匿名化特征名与打乱特征名三种输入。对 Zero-shot Qwen-7B 而言，有信息量的特征名在回归任务上带来明显提升，平均 R^2 比匿名化高 0.1964、比打乱高 0.1606。分类任务上的总体差异则小得多，分别为 +0.0159 与 +0.0084 ROC-AUC，并且随数据集不同而波动。这说明语义信息的价值并非普遍成立，而是集中在回归场景，分类场景下收益有限且不稳定。论文据此刻画了 LLM 特征选择在何种情况下受益于语义信息，并指出经典选择器仍是预测型表格特征选择的强基线。

为什么值得看

想用 LLM 做表格特征选择的人可先看这份实证：经典方法仍是强基线，语义特征名的收益主要体现在回归任务。

LlamaQwen论文数据集

信源1 家

[1]arXiv cs.AI一手信源When Do LLMs Help with Feature Selection? A Systematic Empirical Study

关键事实

研究覆盖 18 个数据集：10 个用于 GRPO 训练、2 个用于检查点验证、6 个留出评估[1]
对比对象包括五个经典基线、冻结的 Qwen2.5-7B 和 Llama-3.3-70B，以及两个 GRPO 适配的 Qwen2.5-7B[1]
在约 33% 特征预算、经典方法严格仅用训练集拟合的条件下，经典选择器预测表现总体高于被测 7B LLM/RL 选择器[1]
Zero-shot Qwen-7B 使用有信息量的特征名时，回归 R^2 比匿名化高 0.1964、比打乱高 0.1606[1]
分类上的语义收益较小，分别为 +0.0159 和 +0.0084 ROC-AUC，且随数据集变化[1]

arXiv 论文实证检验 LLM 做表格特征选择的效果

全文梳理

研究设计与对比对象

经典方法仍占上风

语义特征名的收益边界

为什么值得看

信源1 家

关键事实

相关 · 论文

研究者提出用「逆向博弈论」约束AI智能体行为

北大孙仲联合IBM等发布综述，重新定义现代模拟计算

OpenAI 自 GPT-5.6 起部署激活分类器监控模型输出

Pixel-UMI：从传感器化人类演示学习全身操作策略