活動效果怎麼評估提示詞（沒做 A/B 實驗時的因果推斷：雙重差分 DID、傾向得分匹配 PSM、前提檢驗與結論邊界）
活動、新功能或政策已經上線，但當時沒有做隨機對照實驗，老闆問「這個活動到底帶來了多少增量」時用：AI 幫你判斷能不能用觀察數據做因果推斷、選哪種方法，寫出 DID 或 PSM 的分析代碼，檢驗平行趨勢等關鍵前提，並清楚說明結論能說到什麼程度。
通用大模型 對話模型通用
你是一名熟悉因果推斷的數據科學家，對結論非常謹慎。請幫我評估一個已經上線的活動或功能的效果。 - 要評估的事情：[評估對象]（例：9 月起在部分城市上線的會員日活動） - 參與方式：[參與方式]（例：按城市上線，或用戶自願報名參加） - 結果指標：[結果指標]（例：人均月消費金額） - 可用數據：[可用數據]（例：上線前後各 3 個月、每個用戶每月的消費與屬性數據） - 上線期間的其他變化：[同期變化]（例：同期有一次全國性的促銷） - 實現工具：[實現工具]（例：Python statsmodels、R） 請按以下步驟： 1. 判斷問題：直接比較「參加的人」和「沒參加的人」為什麼不能得出因果結論（自選擇偏差：主動參加的人本來就更活躍）。 2. 選擇方法，並說明前提： - 按地區或時間分批上線，有上線前後的數據 → 雙重差分（DID）；前提是平行趨勢：沒有活動的話，兩組的變化趨勢本應一致； - 用戶自願參加，有豐富的事前特徵 → 傾向得分匹配（PSM）或加權；前提是影響「是否參加」和「結果」的因素都已經觀測到； - 有明確的資格門檻（如消費滿某個金額才能參加） → 斷點回歸； - 只有一個處理組和一段時間序列 → 合成控制或時間序列方法。 結合我的情況推薦一種，並說明它最可能在哪裏出問題。 3. 分析代碼：數據整理、模型估計（含標準誤的正確設定，例如按城市聚類）、結果輸出。 4. 前提檢驗： - DID：畫出上線前各期兩組的趨勢；做事件研究圖，檢查上線前的「效應」是否接近零； - PSM：匹配前後協變量的平衡性檢驗，共同支撐區域。 5. 穩健性檢驗：換對照組、換時間窗口、安慰劑檢驗（假裝更早上線）。 6. 結論表述：給出效應的估計值與置信區間，用業務語言說明，並寫清結論的適用範圍和侷限；同期其他變化可能造成的干擾如何處理。 不要在前提不滿足時給出確定的因果結論。
高亮處換成你自己的內容：[評估對象]、[參與方式]、[結果指標]、[可用數據]、[同期變化]、[實現工具]
ChatGPT Plus 充值
已被複製 0 次
使用說明
怎麼填變量：[參與方式] 決定了能用什麼方法：按城市分批上線適合雙重差分；用戶自願報名的，自選擇偏差嚴重，要用匹配一類的方法並格外謹慎。[同期變化] 一定要寫，同期的其他活動或政策是因果推斷中最常見的干擾來源。
常見坑：
- 直接比較參加者和未參加者，得出「活動讓消費提升了 40%」，其實是活躍用戶更願意參加活動。
- 做雙重差分不檢驗平行趨勢。如果上線前兩組的趨勢就不一樣，估計出來的效應沒有意義。
- 傾向得分匹配只能平衡「看得見」的因素，看不見的因素（例如用戶對品牌的偏好）仍可能造成偏差，結論要留有餘地。
追問技巧：追問「下次上線類似活動時，怎麼設計一個隨機實驗或分批上線方案，讓評估更可靠」（可配合 350 號 A/B 測試提示詞），或「把這個結論寫成一頁給管理層看的說明，包括侷限」。
示例輸出
示例，僅供參考（DID 節選：A、B 兩個城市 9 月上線，C、D 兩個城市作為對照）
python
import statsmodels.formula.api as smf
# df：每個用戶每月一行；treated 表示所在城市是否上線，post 表示是否在 9 月及以後
model = smf.ols("spend ~ treated * post + C(month) + C(city)", data=df).fit(
cov_type="cluster", cov_kwds={"groups": df["city"]}) # 按城市聚類標準誤
print(model.params["treated:post"], model.conf_int().loc["treated:post"])結論表述：在上線城市，活動使人均月消費平均增加約 18 元（95% 置信區間 6 到 30 元）。上線前 6 個月兩組趨勢基本平行，安慰劑檢驗未發現提前出現的效應。侷限：只有 4 個城市，聚類數量很少，標準誤可能被低估，建議用更多城市的分批上線來復核。
同款作品
用這條提示詞做出來的作品；原作者會因此獲得積分
還沒有同款，來做第一個。
0 條評論
還沒有評論，來搶沙發～