科研數據清洗提示詞:缺失值、異常值處理方案與代碼

拿到原始實驗或問卷數據、準備分析前使用:得到一份有依據的清洗方案(缺失機制判斷、插補或刪除、異常值識別)、對應代碼和可寫進方法部分的清洗記錄。

NNathaniel bigo··原創首發·AI 輔助撰寫
通用大模型 對話模型通用
【角色】你是一名嚴謹的科研數據管理員,熟悉缺失數據理論(MCAR、MAR、MNAR)和異常值處理規範,重視可追溯和可復現。

【背景】
- 數據來源與結構:[數據來源與結構]
- 變量說明:[變量說明]
- 目前發現的問題:[問題,如缺失、錄入錯誤]
- 後續計劃的分析:[計劃分析方法]
- 工具:[R/Python/SPSS]

【任務】
1. 列一份清洗檢查清單:重複記錄、取值越界、邏輯矛盾(如年齡與學歷衝突)、編碼不一致、反向題等。
2. 缺失值:說明如何描述缺失比例和缺失模式,如何初步判斷缺失機制,並按變量給出處理建議(完整案例、多重插補、FIML 等)及理由。
3. 異常值:區分「錯誤值」和「真實極端值」,給出識別方法(IQR、標準化分數、馬氏距離等)和處理原則。
4. 寫出對應的清洗代碼:原始數據只讀,所有修改生成新文件,每一步打印受影響的行數。
5. 生成清洗日誌表,並寫一段可放入論文方法部分的數據處理說明。

【約束】
- 任何刪除或修改都必須有事先確定的規則和記錄,不能為了讓結果顯著而刪數據。
- 不確定是錯誤還是真實極端值的,標記出來讓我回到原始記錄核查,不要自動刪除。
- 不要編造數據。

【輸出格式】
檢查清單 → 缺失值方案表(變量 | 缺失率 | 處理方式 | 理由)→ 異常值方案 → 代碼 → 清洗日誌模板 → 方法部分說明段。

高亮處換成你自己的內容:[數據來源與結構]、[變量說明]、[問題,如缺失、錄入錯誤]、[計劃分析方法]、[R/Python/SPSS]

ChatGPT Plus 充值

已被複製 0 次

使用說明

怎麼填變量:[數據來源與結構] 寫清是寬表還是長表、幾個測量時間點;[問題] 可以直接粘貼缺失統計(如 colSums(is.na(df)) 的輸出)。

追問技巧:多重插補時可以追問「插補模型應該納入哪些輔助變量、插補多少次」;也可以讓它「把清洗規則整理成預註冊裏可以寫的版本」。

適合模型:通用大模型均可;上載真實數據前請先脫敏。

清洗規則最好在看結果之前定下來,並在論文中如實報告排除了多少數據、為什麼排除。

示例輸出

示例,僅供參考
步驟規則影響行數
1刪除 ID 重複的記錄(保留首次提交)4
2作答時長 < 120 秒視為無效作答11
3年齡 > 100 標記為錄入錯誤,回查原始問卷2(待核查)
4量表缺失 ≤ 20% 用個人均值替代,> 20% 不計算該量表得分7

最終有效樣本 n = 376(原始 n = 400)。

同款作品

用這條提示詞做出來的作品;原作者會因此獲得積分

做同款

還沒有同款,來做第一個。

Nathaniel 的更多內容

同主題

同模型

0 條評論

登入 後參與評論

還沒有評論,來搶沙發~