用 Codex 编写自动化数据迁移与清洗脚本(Python / SQL):幂等重试、断点续跑与干跑校验

一次性跑数脚本中途报错不敢重跑,最怕重复写入或把线上脏数据越洗越乱。本文讲清如何用 Codex 设计带 --dry-run 干跑校验、游标断点续跑与 SQL 幂等 upsert 的 Python / SQL 迁移脚本。

NNathaniel bigo··原创首发·AI 辅助撰写
10 分钟读完
资料核对于 2026-11-19 · 依据官方文档与公开资料整理 Plus 账号

结论先说

  1. 绝不让 Codex 直接连生产库写并跑脚本,先把「表结构 DDL + 清洗规则 + 脱敏样本」整理成输入契约。敏感数据库连接串必须通过环境策略与权限档案隔离(配置参考 /guides/codex-permission-profiles-block-env-config 与 /guides/codex-shell-environment-policy-filter-secrets),在本地或隔离测试库完成全部验证。
  2. 合格的数据迁移脚本必须同时具备三道保命机制:干跑模式(--dry-run)、SQL 级幂等写入与游标断点续跑。干跑负责提前暴露异常行与受影响行数;幂等保证重跑不会翻倍插数;断点续跑让百万级任务中断后从上一批成功位置接着跑。
  3. 分批拉取一律用主键游标(WHERE id > last_id ORDER BY id LIMIT N),禁用 OFFSET 深分页。深分页越往后越慢,且在边迁移边写入的场景下容易漏行或重复扫描;每批控制在 500–2000 行并在单批事务内提交,既稳内存又不长时间锁表。
  4. 把「异常脏数据分流到死信文件(Dead-Letter)」写进提示词。遇到非法手机号、坏 JSON 或缺失外键时,记录主键与失败原因后继续推进或按阈值中止,绝不静默丢弃数据,也不要因为 1 条坏记录让 50 万行任务反复回滚。
  5. 在反复迭代清洗规则、补全边界单测并审阅迁移 SQL 差异时,上下文消耗会明显抬升。国内缺少外币卡的开发者可在本站自助开通 ChatGPT Plus 充值 或无 5 小时限额的 ChatGPT Pro 充值,多人数据研发团队可咨询 ChatGPT Business 团队定制。

Codex 编写数据迁移脚本五步安全流程

图:本站结合数据迁移工程实践与 PostgreSQL 事务机制整理的流程图

本文根据 OpenAI Codex 官方文档《Codex CLI》《Non-interactive mode》及 PostgreSQL 官方文档《INSERT》《Transactions》整理,资料核对于 2026-11-19。配图为本站整理的示意图,不是界面截图。本站(bigolab.com)不是 OpenAI 官方网站。

适用于谁

  • 需要编写一次性或周期性历史数据迁移、字段拆表、脏数据清洗脚本的后端工程师与数据研发;
  • 曾让 AI 写出「一把 SELECT * 全拉进内存、循环 INSERT 没加事务与去重」的脚本,跑一半中断后不敢重跑的开发者;
  • 希望在执行高风险库表变更前,先用脱敏样本做干跑预览和核对报告的技术负责人。

一、先定安全契约:给 Codex 的高可靠脚本生成提示词

直接说「帮我写个 Python 脚本把旧订单表洗到新表」,Codex 往往只会给你一份最简循环演示代码。本站建议先导出源表与目标表的精简 DDL(不含生产数据)和 5 条脱敏样例,用下面这份结构化提示词一次性把架构立稳:

text
请基于 schema/source_orders.sql 和 schema/target_orders.sql 编写一个 Python 数据迁移与清洗脚本 scripts/migrate_orders.py,严格满足以下工程要求:
1. 命令行参数:支持 --dry-run(默认开启,必须显式传 --apply 才真实落库)、--batch-size(默认 1000)、--checkpoint-file、--dead-letter-file、--sleep-ms(批次间隔防打满数据库 IOPS);
2. 分批与断点续跑:按主键自增游标 `WHERE id > %s ORDER BY id ASC LIMIT %s` 读取,禁止使用 OFFSET;每批事务提交成功后,原子写入(临时文件 + rename)checkpoint JSON(记录 last_id、已处理数、跳过数、失败数);
3. 幂等写入:目标库写入必须采用参数化批量 UPSERT(PostgreSQL 用 INSERT ... ON CONFLICT (legacy_order_id) DO UPDATE SET ...,或 MySQL ON DUPLICATE KEY UPDATE),确保同一批次重复执行结果完全一致;
4. 脏数据与重试:清洗函数纯函数化,无法解析的行写入 dead-letter CSV(含原 id 与错误原因);仅对可恢复的网络抖动或死锁错误做指数退避重试(最多 3 次);
5. 干跑校验报告:--dry-run 模式下不提交写事务,输出预计新增/更新行数、清洗规则命中统计与前 10 条异常样本摘要。
同时编写对应的单元测试,覆盖「中途异常中断后重跑续接」「同批次重复运行幂等性」和「脏数据分流」。

核心 SQL 幂等与游标写法核对点

Codex 生成代码后,人工重点核对以下两段核心 SQL 是否写对(不要只看代码能跑):

sql
-- 1. 键集游标分页(稳定且走主键索引,绝不用 OFFSET)
SELECT id, raw_phone, payload_json, updated_at
FROM legacy_orders
WHERE id > %(last_id)s
ORDER BY id ASC
LIMIT %(batch_size)s;

-- 2. PostgreSQL 幂等批写(确保重跑不产生重复记录)
INSERT INTO orders_v2 (legacy_order_id, normalized_phone, amount_cents, migrated_at)
VALUES (%s, %s, %s, NOW())
ON CONFLICT (legacy_order_id) DO UPDATE
SET normalized_phone = EXCLUDED.normalized_phone,
    amount_cents = EXCLUDED.amount_cents,
    migrated_at = EXCLUDED.migrated_at
WHERE orders_v2.normalized_phone IS DISTINCT FROM EXCLUDED.normalized_phone
   OR orders_v2.amount_cents IS DISTINCT FROM EXCLUDED.amount_cents;

注意 ON CONFLICT ... DO UPDATE 末尾加上 WHERE ... IS DISTINCT FROM ... 后,重跑已完全对齐的行时数据库不会产生无意义的死元组与额外 WAL 膨胀,对大表非常友好。

生产数据迁移上线前六项核对清单

图:本站结合数据库变更安全规范整理的上线前核对示意图

订阅与账号准备提示:处理多表联查迁移、复杂字段映射与全套异常回归测试时,经常需要多轮生成与只读审计(配额规则见 /guides/codex-usage-limits)。高频做数据治理的研发人员可在站内升级 ChatGPT Pro 5x iOS 可覆盖档 或 ChatGPT Pro 5x 信用卡不可覆盖档;新账号首次开通 Codex 如在手机验证步骤受阻,可查看 Codex 注册手机验证服务。

二、先测再跑:让 Codex 补齐「模拟断电重跑」与核对 SQL

写完脚本后,不要只在 3 条正常样例上跑通就上线。让 Codex 基于本地 SQLite 或隔离 PostgreSQL 测试容器补三类关键校验(测试防偷懒原则见 /guides/codex-generate-unit-tests-playwright-e2e-avoid-fake-mocks):

  1. 断电续跑测试:人为在第 2 批中间抛一次连接异常,确认 checkpoint 仍停在第 1 批末尾;移除异常后重跑,验证最终目标表总行数与无中断跑完完全一致。
  2. 双跑幂等测试:把全量迁移脚本连续执行两遍,断言目标表行数、关键金额汇总(SUM(amount_cents))与哈希摘要在两遍之间零变化。
  3. 迁移后对账 SQL(Reconciliation):让 Codex 同步生成一段只读对账脚本,自动比对源表与目标表的「总行数 − 死信行数」、关键指标加总(金额/积分)以及随机抽样 100 条记录的逐字段差异。

若需要把数据核对脚本挂进定时或预发流水线,务必采用只读与无痕方式调用 codex exec --ephemeral --sandbox read-only 审阅对账报告(流水线规范参考 /guides/codex-exec-full-auto-ephemeral-ci-pipeline-guide)。

常见问题

问:源表没有单调自增整数主键,用的是 UUID 主键怎么办?

答:千万不要直接对随机 UUID 做普通分页后期待按时间增量。可以让 Codex 改成基于 (created_at, id) 复合键集游标分页(如 WHERE (created_at, id) > (%s, %s) ORDER BY created_at, id LIMIT %s),并提前在测试库核实源表是否存在对应的复合索引。

问:干跑校验通过了,在生产环境真正跑几百万行数据时还需要注意什么?

答:先做库表备份或确认时间点恢复(PITR)可用;其次用小批次加 --sleep-ms 限速,避开业务高峰并盯紧主从复制延迟(Replication Lag)与连接池水位;最后务必先在生产只抽前 1000 行试跑对账,确认无误再放开全量。

问:国内没有外币信用卡,或者公司研发团队需要开增值税发票报销,怎么开通适合写工程脚本的 Codex 订阅?

答:可通过本站 AI 会员充值总览 按需选购 ChatGPT Plus 充值、ChatGPT Plus 自助卡密 或更高配额的 ChatGPT Pro 充值,支持支付宝、微信支付及 AlipayHK,提供卡密自助兑换(无需交出账号密码)与客服协助,并支持开具增值税发票;多人团队也可咨询 Business 团队定制方案。实时价格以商品页展示为准,售后执行掉订阅按剩余天数折退、封号不在质保范围规则。

相关教程

参考资料

  • OpenAI Codex 官方文档:Codex CLI — https://learn.chatgpt.com/docs/codex/cli
  • OpenAI Codex 官方文档:Non-interactive mode — https://learn.chatgpt.com/docs/non-interactive-mode
  • PostgreSQL 官方文档:INSERT(ON CONFLICT 幂等写入)— https://www.postgresql.org/docs/current/sql-insert.html
  • PostgreSQL 官方文档:Transactions — https://www.postgresql.org/docs/current/tutorial-transactions.html

Nathaniel 的更多内容

  1. 01

    独立开发者用 ChatGPT + Codex 跑通产品全流程:市场验证、PRD、原型到代码上线复盘清单

    单人做独立产品最容易陷入「闭门写两个月代码上线零用户」或「AI 写到一半目录越改越崩」。本文整理「ChatGPT 负责市场验证、PRD 与复盘 + Codex 负责工程实现与测试」的五阶段双轨流程,附起手提示词与 7 项上线复盘清单。

    ChatGPTCodex0
  2. 02

    用 ChatGPT 批量生成规范文件命名规则、整理混乱目录树与合并零散发票抬头清单脚本

    面对满桌面的「新建文件夹」「最终版2」和上百张零散电子发票,手工改名抄台账耗时又容易漏重。本文分享先脱敏取样、再用 ChatGPT 生成带预演和回滚日志的本地 Python 脚本,离线安全完成目录整理与发票抬头合并去重的实战流程。

    ChatGPT0
  3. 03

    用 ChatGPT 做海外邮件营销(EDM)受众分层文案、A/B 主题行测试与防进垃圾箱自检

    做海外独立站或出海 SaaS 邮件营销(EDM),最怕千人一面群发被直接送进垃圾箱。本文结合 Gmail/Yahoo 批量发件人规范,梳理用 ChatGPT 设计受众分层文案、批量生成 A/B 主题行矩阵并开展发前垃圾词与合规自检的实战提示词。

    ChatGPT0
  4. 04

    用 ChatGPT 写 Notion Formula 2.0 公式、Obsidian Dataview 查询与 Airtable 自动化脚本

    给 Notion 数据库写多条件 Formula 2.0 公式、给 Obsidian 写 Dataview 动态看板,或在 Airtable 里写自动化脚本,经常因为一个小括号或类型不匹配报错半天。本文整理三大工具的通用上下文喂料规范与三套直接可复制的生成提示词。

    ChatGPT其他 AI 工具0
  5. 05

    用 ChatGPT 处理复杂 JSON / YAML / XML 字段映射、格式转换与校验规则编写实战

    对接第三方 API、迁移 Kubernetes 配置或解析政企 XML 报文时,手工对照几百行嵌套字段既慢又容易漏掉空值与类型边界。本文整理用 ChatGPT 完成字段映射表梳理、生成确定性转换脚本以及编写 JSON Schema / Pydantic / XSD 校验规则的实战流。

    ChatGPT其他 AI 工具0
  6. 06

    用 ChatGPT 准备本科/硕士毕业论文答辩:提炼答辩 PPT 结构、模拟导师犀利追问与 3 分钟自述稿

    毕业论文写完后,要在 3–5 分钟内讲清研究价值并顶住答辩评委的连环追问并不轻松。本文整理在严格遵守高校学术规范的前提下,用 ChatGPT 提炼答辩 PPT 结构、打磨 3 分钟口语自述稿并开展模拟导师犀利追问的排练流程与提示词。

    ChatGPT0

同产品的其他教程

  1. 01

    用 ChatGPT 整理家庭装修预算明细、隐蔽工程验收清单与主材优缺点对比表实战

    第一次装修面对几十页施工报价单、密密麻麻的水电防水隐蔽项目与五花八门的主材参数,极易踩坑增项。本文梳理用 ChatGPT 审查装修报价漏项、生成带公式的预算明细表、定制工地隐蔽工程验收单与主材对比表的实战提示词。

    ChatGPT0
  2. 02

    用 ChatGPT 做费曼学习法读书共读:反向追问检验自己是否真读懂专业书籍与整理书单笔记

    读完一本专业硬书常感觉「合上书就忘」,直接让 AI 概括全书又容易产生懂了的错觉。本文介绍用 ChatGPT 结合 Study Mode 与费曼学习法做反向追问共读,通过通俗复述、挑刺盲区到沉淀书单卡片的完整流程与提示词。

    ChatGPT0
  3. 03

    用 ChatGPT 做外贸产品多语种目录、展会邀约与客户跟进节奏表(附脱敏与本地化提示词)

    做外贸展会与海外推广时,手工翻译十几款产品目录费时且容易留下一堆中式英文,展后客户跟进也常缺节奏。本文梳理用 ChatGPT 先脱敏建术语库、再批量产出多语种目录、展前邀约函与展后 21 天跟进节奏表的实战流程与提示词。

    ChatGPT0
  4. 04

    用 ChatGPT 写高质量技术专栏文章、开源项目 Release Notes 与版本更新日志实战

    让 AI 直接凭空写技术文章容易满篇空洞套话,直接甩 Git 记录写更新日志又常常漏掉破坏性变更。本文整理用 ChatGPT 结合真实代码片段、压测数据与 PR 摘要,高效产出深度技术专栏、GitHub Release Notes 与 CHANGELOG 的实战工作流。

    ChatGPT0
  5. 05

    用 ChatGPT 做产品用户访谈纪要编码、提炼高频痛点需求池与 RICE 优先级打分实战

    手头攒了十几份用户访谈逐字稿,手工贴便利贴归纳痛点耗时又容易带入主观偏见。本文分享用 ChatGPT 完成脱敏检查、逐份开放式编码、跨样本聚类高频痛点并搭建 RICE 优先级打分表的 5 步实战流,附可直接复制的三段核心提示词。

    ChatGPT0
  6. 06

    ChatGPT 网页版上传超过 10 个文件或回形针附件按钮变灰怎么办:打包合并与配额限制排查

    在 ChatGPT 网页版批量分析文档时,常遇到一次选超 10 个文件被拦截或输入框回形针按钮变灰。本文依据 OpenAI 文件上传与存储说明,梳理 6 类常见报错的分流排查法,提供 ZIP 打包、本地合并与 Projects 复用方案及可直接复制的解包提示词。

    ChatGPT0

0 条评论

登录 后参与评论

还没有评论,来抢沙发~