15｜数据迁移：如何在不停机的情况下保证迁移数据的一致性？

作者回复: 赞！ 而且第二个问题还要考虑数据覆盖的问题，所以不怎么适合。

作者回复: 1. 你不需要关心截止点。你只需要在导入数据之后，找到每张表对应的最后更新时间，就可以认为是那个截止点。 2. 严格做法就是逐行比对。有些公司会抽样比对，但是抽样比对我个人认为效果很差。比如说你一千万行数据，出错几率是万分之一，你抽样是百分之一，你发现错误的几率，也就是百分之一。就是执行时间会很长，我们之前逐行比对，有执行过好几天。 3. 业务代码管理，MySQL 没有感知。 4. 你可以拿到 last insert id。这是 mysql 协议规定的。但是你用的 ORM 框架可能屏蔽了，所以你需要找找。 5. 感谢提醒，我们修复一下。

作者回复: 赞！ 1. 要考虑的问题就是很多，主键冲突是一方面，还有就是主键过来一个 UPDATE，而我连初始数据都没有，就更加麻烦了。 2. 嗯，要考虑覆盖数据，以及乱序的问题。

作者回复: 1. 一直失败就确实得管，这种时候多半是代码有问题，比如说我们之前目标表的列类型变了，导致源表的数据读到程序里面，再存储的时候，就发现数据库类型-Go类型-数据库类型这个转换崩了，只能是打补丁。 2. 因为当你收到消息的时候，原本 a= 123 的可能又被修改为 a = 124 了，所以你找不到。

作者回复: 好问题。第一次校验与修复，你随便跑一下就可以，后面还要持续运行增量校验，也可以设置增量校验的起始时间从你第一次校验跑完之后的时间点之后开始进行。 后续要是觉得不保险你就可以运行全量校验或者增量校验。

作者回复: 只能追求最终一致性。也就是说，源表对应多个目标表，如果目标表在不同的数据库上（你没有办法用本地事务），那么就做好监控、告警以及数据校验和修复。实际上，它只是放大了不一致的风险。写单表还是写多表，监控、告警和数据校验与修复都少不了。

作者回复: 我给训练营上课写的一个，你可以参考。https://gitee.com/geektime-geekbang_admin/geektime-basic-go/blob/master/webook/pkg/gormx/connpool/doublewrite.go

作者回复: 一般来说，在运行增量校验和修复一段时间之后，发现系统运行很平稳，就可以切换了。实际上这个过程也没想的那么高危，毕竟你可以再切换回来。实在不放心，就挑个半夜凌晨切换。

作者回复: 其实你这就是用户粒度上的控制而已。也就是，每一个用户都可以单独控制，本质上没区别的。 我个人认为，没太大必要。在经过双写以目标表为准的阶段之后，直接切也没问题。 用户维度的控制，对于数据校验来说，很难搞，你得明确知道用源表数据，还是用目标表数据来校验和修复。

作者回复: 以前的工作代码写过，但是开源的没有。 有很多做法： 1. 利用 spring 的 AOP，拦截数据库操作，而后引入双写步骤 2. 利用连接池的扩展机制，把单写变成双写。比如说一般连接池都有类似于 Conn 的抽象，Conn 就会发起真的查询，那么你就可以扩展一个实现。