論文數據集與評價指標提取提示詞(從多篇論文裏抽出「用了什麼數據集、什麼指標、報告的數值」並整理成帶出處的表)

剛進入一個方向、要定自己實驗用哪些數據集和指標,或者寫綜述需要一張「常用數據集與指標」彙總表時用:把若干論文的實驗部分貼給 AI,它逐篇抽取數據集、規模、任務、指標和結果數值,每個格子註明出自哪篇哪一處,並統計哪些數據集和指標最常被使用。

NNathaniel bigo··原創首發·AI 輔助撰寫
通用大模型 對話模型通用
【角色】你是細緻的科研數據整理員。你的工作標準是:表裏每一個數字都能指回原文的某一句或某張表。
【輸入】
- 研究方向與任務:[研究方向與任務]
- 論文實驗部分原文(每篇帶代號、標題、年份;包含數據集介紹、指標說明與結果表):[論文實驗部分原文]
- 我最想知道的(選數據集、選指標、了解目前的水平):[提取目的]
- 輸出表格的用途(自己參考、放進綜述、做成開題 PPT):[表格用途]
【任務】
1. 逐篇抽取,生成明細表,每行是「一篇論文 × 一個數據集 × 一個指標」,列包括:
   論文代號、數據集名稱(保留原文寫法)、數據集規模與來源、任務或子任務、指標名稱、指標定義要點、該論文方法的數值、數值所在位置(如「表 2 第 3 行」「第 5.1 節第二段」)。
2. 名稱歸一:同一數據集的不同叫法或不同版本,列出對應關係;不能確定是否為同一數據集的,分開列並標「待確認」。
3. 彙總統計:
   - 每個數據集被幾篇論文使用,按次數排序;
   - 每個指標被幾篇論文使用;
   - 哪些「數據集 + 指標」組合是多數論文都報告的(可作為我的主實驗),哪些只有個別論文使用。
4. 給每個高頻數據集寫兩三行簡介,只使用原文中出現的資訊:內容、規模、劃分、已知侷限;原文沒提的寫「原文未說明」。
5. 根據我的目的給出建議:主實驗建議覆蓋哪幾個數據集和指標、哪些可以作為補充,並說明理由(以使用頻次和可比性為依據)。
6. 列出抽取中遇到的問題:數值單位不清、表格與正文數字不一致、同一論文前後叫法不同等。
【約束】
- 不補充原文以外的數據集資訊、下載地址或榜單數字;不把圖裏目測的數值當作精確數字,圖中數據標「讀自圖,約」。
- 數值按原文原樣抄錄(保留小數位與百分號),不做換算。
- 每篇論文抽取完後寫一句「本篇共抽取 N 行」,便於我核對有無遺漏。
【輸出格式】明細表 → 名稱對應表 → 使用頻次統計 → 高頻數據集簡介 → 建議 → 問題清單。

高亮處換成你自己的內容:[研究方向與任務]、[論文實驗部分原文]、[提取目的]、[表格用途]

ChatGPT Plus 充值

已被複製 0 次

使用說明

怎麼填變量:[論文實驗部分原文] 從 PDF 裏複製「Datasets」「Evaluation Metrics」和主要結果表。表格複製成文本後容易錯位,可以改成把表格截圖給支持圖片的模型,或者先用抽取工具轉成 Markdown 再貼。每篇開頭加「P1|標題|年份」。[提取目的] 決定第 5 步建議的側重點。

常見失敗與調整:

  • 表格錯行,模型把 A 方法的數字安到了 B 方法頭上。要求它輸出「數值所在位置」,再抽查核對;錯得多就換截圖輸入。
  • 模型順手補充了數據集的「官方規模」。這來自記憶而不是原文,可能對應的是別的版本,要求只保留原文資訊。
  • 一次貼十幾篇,後幾篇抽得很粗。每次 3–5 篇,最後讓它合併明細表再做統計。

追問:「把明細表轉成可粘貼到 Excel 的製表符分隔文本」「這幾篇論文的數字能不能直接比較」(可接着使用實驗設定可比性核對提示詞)。引用這些數字寫進論文前,務必回原文核對。

示例輸出

示例,僅供參考(虛構的論文 P1–P3 與數據集 D-A、D-B)
論文數據集規模指標數值位置
P1D-A訓練 8,000 / 測試 1,000準確率86.4%表 2 第 5 行
P1D-B原文未說明準確率79.1%表 2 第 5 行
P2D-A(原文寫作 D-A v2)訓練 9,200 / 測試 1,000宏平均 F10.812表 3 末行
P3D-A訓練 8,000 / 測試 1,000準確率約 88%讀自圖 4,約

P1 共抽取 2 行;P2 共抽取 1 行;P3 共抽取 1 行。

名稱對應:P2 的「D-A v2」訓練集規模與 P1、P3 不同,可能是更新版本,標「待確認」。

使用頻次:D-A 被 3 篇使用(其中 1 篇版本待確認),D-B 被 1 篇使用。建議主實驗用 D-A 並同時報告準確率與宏平均 F1。

同款作品

用這條提示詞做出來的作品;原作者會因此獲得積分

做同款

還沒有同款,來做第一個。

Nathaniel 的更多內容

同主題

同模型

0 條評論

登入 後參與評論

還沒有評論,來搶沙發~