大模型應用上線前檢查清單提示詞（評測達標、兜底與降級、內容安全、日誌監控、灰度與回滾逐項自查）
一個基於大模型的功能（智能客服、文檔問答、內容生成、智能體）準備對真實用戶開放前用：說明功能和現狀，AI 按八個方面逐項追問並生成一份針對你這個功能的上線檢查表，標出「不滿足就不能上線」的阻斷項，以及上線後第一週要盯的指標。
通用大模型 對話模型通用
我有一個基於大模型的功能準備上線。請幫我做上線前評審：先逐項了解現狀，再輸出一份針對這個功能的檢查表。請直接指出缺口，不需要客氣。 功能說明：[功能說明] 面向的用戶與規模：[用戶與規模] 出錯的後果：[出錯後果]（例如：答錯只是體驗差 / 可能造成用戶金錢損失 / 涉及未成年人或敏感內容） 目前已經做了的準備：[已有準備] 計劃的上線方式與時間：[上線計劃] 第一步：按下面八個方面向我提問 每個方面最多問 3 個問題，只問從我的描述裏看不出來的。全部問題一次列出，等我回答。 1. 質素評測：有沒有評測集；覆蓋了哪些情況；當前結果如何；通過線是怎麼定的；最近一次改動後是否重新跑過。 2. 失敗時的表現：模型接口超時、報錯、被限流、返回空內容或格式不對時，用戶會看到什麼；有沒有重試、降級和兜底文案；有沒有轉人工的出口。 3. 輸入與輸出的邊界：超長輸入、空輸入、無關問題、試圖讓它偏離用途的輸入分別怎麼處理；輸出是否會被直接執行、直接展示為網頁內容或直接發給第三方。 4. 內容與合規：是否可能輸出不當或侵權內容；是否需要向用戶說明內容由 AI 生成；用戶數據是否會發送給第三方模型服務，私隱政策是否已覆蓋；所在地區對生成式 AI 服務有無備案或標識要求需要核實。 5. 權限與數據安全：模型或智能體能訪問哪些數據、能執行哪些操作；越權是否在服務端攔截；提示詞注入能造成的最壞後果是什麼。 6. 成本與容量：單次請求的成本估算；是否有用戶級與全局的用量上限；流量突增時的表現；帳單告警。 7. 可觀測性：是否記錄了每次請求的輸入、輸出、所用提示詞版本與模型版本、耗時與用量；能否按用戶反饋回查到當時的完整記錄；日誌中的個人資料如何處理。 8. 發佈與回滾：是否灰度；提示詞與模型版本是否納入版本管理；發現問題時多長時間可以關閉功能或回退；誰有權限、誰值班。 第二步：根據我的回答輸出檢查表 檢查項 | 現狀 | 結論（滿足 / 部分滿足 / 缺失）| 是否阻斷上線 | 補救措施與預計工作量。 阻斷項的判定要結合我寫的「出錯後果」：後果越重，對兜底、權限和人工介入的要求越高。 第三步：給出 1. 上線前必須完成的事項，按順序排列； 2. 可以帶着上線、但要在兩週內補齊的事項； 3. 上線後第一週每天要看的 5 個指標與對應的報警閾值設定思路（閾值由我根據基線確定）； 4. 用戶反饋入口與問題迴流到評測集的流程。 法律與合規方面的結論請只給出「需要核實的問題清單」，並說明應向法務或主管部門的公開規定確認，不要直接下合規與否的結論。
高亮處換成你自己的內容：[功能說明]、[用戶與規模]、[出錯後果]、[已有準備]、[上線計劃]
ChatGPT Plus 充值
已被複製 0 次
使用說明
這份清單針對的是大模型功能特有的風險。傳統功能上線看的是測試通過、性能達標；大模型功能多出幾樣東西：輸出不確定，同一個問題今天答對明天可能答錯，所以需要評測集而不是幾個手工用例；依賴外部模型服務，會超時、限流、漲價；輸入是自然語言，用戶可以說任何話，包括試圖帶偏它的話；出了問題要能回查「當時模型到底看到了什麼、用的哪版提示詞」。八個方面就是圍繞這些設計的。
怎麼填變量：[出錯後果] 是整份評審的標尺，請寫最壞情況。同樣是答錯，閒聊助手和能操作訂單的智能體，上線門檻天差地別。[已有準備] 如實寫，沒做就寫沒做，評審才有意義。[上線計劃] 寫清是否灰度、放量節奏。
怎麼用結果：檢查表裏的「阻斷項」不滿足就不要上線，或者縮小範圍上線——例如先只對內部員工開放、先只開放只讀能力、先加人工審核。「可後補項」要落到具體負責人和日期，否則上線後很容易被擱置。
常見問題與調整：
- 沒有評測集 → 這是最常見的阻斷項。先做一個最小版本：從內測記錄裏挑幾十條有代表性的輸入，寫出每條的合格標準。可配合本站「提示詞評測集怎麼建提示詞」。
- 兜底方案不知道怎麼設計 → 追問：「針對超時、限流、格式錯誤三種情況，分別給出用戶側的提示文案和服務端的處理邏輯。」
- 智能體類功能 → 追問：「按『提示詞注入能造成的最壞後果』逐個審視它能調用的工具，哪些要加人工確認。」並參考本站「提示詞注入怎麼防護提示詞」。
提醒：合規要求因地區和業務類型而異且在不斷更新，清單裏的合規問題只是幫你列出要確認的點，結論請以法務意見和主管部門的公開規定為準。
示例輸出
示例，僅供參考（功能：電商 App 內的售後智能助手，可查詢訂單並發起退款申請；節選）
| 檢查項 | 現狀 | 結論 | 阻斷上線 | 補救措施 |
|---|---|---|---|---|
| 評測集覆蓋退款場景 | 只有 20 條問答類用例，沒有退款操作類 | 部分滿足 | 是 | 補充退款相關用例，含金額不符、重複申請、超出退款期限等情況 |
| 模型超時的兜底 | 前端一直轉圈 | 缺失 | 是 | 設定超時上限，超時後提示並提供人工入口 |
| 退款操作的確認 | 模型判斷後直接提交 | 缺失 | 是 | 提交前向用戶展示訂單與金額並要求確認；服務端校驗訂單歸屬 |
| 提示詞版本記錄 | 已納入版本庫，日誌記錄版本號 | 滿足 | 否 | —— |
| 帳單告警 | 未設定 | 缺失 | 否（兩週內補齊） | 設定日用量告警與單用戶上限 |
上線前必須完成：退款確認與服務端校驗 → 超時兜底 → 補齊退款評測用例並達到通過線。在此之前，可先上線只讀的訂單查詢能力。
同款作品
用這條提示詞做出來的作品；原作者會因此獲得積分
還沒有同款，來做第一個。
0 條評論
還沒有評論，來搶沙發～