极客视点
极客时间编辑部
极客时间编辑部
113243 人已学习
免费领取
课程目录
已完结/共 3766 讲
2020年09月 (90讲)
时长 05:33
2020年08月 (93讲)
2020年07月 (93讲)
时长 05:51
2020年06月 (90讲)
2020年05月 (93讲)
2020年04月 (90讲)
2020年03月 (92讲)
时长 04:14
2020年02月 (87讲)
2020年01月 (91讲)
时长 00:00
2019年12月 (93讲)
2019年11月 (89讲)
2019年10月 (92讲)
2019年09月 (90讲)
时长 00:00
2019年08月 (91讲)
2019年07月 (92讲)
时长 03:45
2019年06月 (90讲)
2019年05月 (99讲)
2019年04月 (114讲)
2019年03月 (122讲)
2019年02月 (102讲)
2019年01月 (104讲)
2018年12月 (98讲)
2018年11月 (105讲)
时长 01:23
2018年10月 (123讲)
时长 02:06
2018年09月 (119讲)
2018年08月 (123讲)
2018年07月 (124讲)
2018年06月 (119讲)
时长 02:11
2018年05月 (124讲)
时长 03:16
2018年04月 (120讲)
2018年03月 (124讲)
2018年02月 (112讲)
2018年01月 (124讲)
时长 02:30
时长 02:34
2017年12月 (124讲)
时长 03:09
2017年11月 (120讲)
2017年10月 (86讲)
时长 03:18
时长 03:31
时长 04:25
极客视点
15
15
1.0x
00:00/05:20
登录|注册

陆金所去Oracle转MySQL全过程(上)

讲述:丁婵大小:7.33M时长:05:20
你好,欢迎收听极客视点。
很多企业都会依赖于云厂商或者其它已经去 Oracle 成功企业的帮助,真正凭借自己力量去 Oracle 的企业并不多,而陆金所恰恰就是凭借自己力量去 Oracle 的一家企业。
陆金所去 Oracle 实践历时 18 个月,将全站 90% 的数据库、数千张表从 Oracle 无缝切换至 MySQL,并且将在 6 月底前下线最后一台 Oracle。InfoQ 记者为此独家采访陆金所去 Oracle 实践的负责人王英杰,试图还原全过程。

陆金所的业务场景与去 Oracle 节奏

陆金所的去 Oracle 从 2018 年年中开始启动,涉及大几百个子系统,总数据量超过 PB 级。据王英杰介绍,“陆金所全部的研发和技术运营部门都参与了全站去 Oracle,至少有 500 人以上的开发、测试和运维工程师参与其中。
如果从整个实践过程来看,陆金所去 Oracle 实践有三个比较关键的阶段:
一是通过边缘系统进行方案验证阶段;
二是去“O”自动化工具平台构建和优化阶段;
三是全自动化标准化去“O”落地阶段。

去 Oracle 方案的选择

与大多数企业去 Oracle 的原因相同,陆金所选择去 Oracle 也是因为原有的 Oracle 数据库架构扩展性很差,并且 Oracle 软件授权费用太高,无法支撑陆金所从 2013 年到现在交易量井喷式暴增下的业务需求。
替代方案选定了 MySQL,同时因为 MySQL 无法支撑 Oracle 的所有场景,还引入了 Elasticsearch、Redis、TiDB、HBase 等多种存储引擎。陆金所现在的数据库架构图如下:
陆金所对于去 Oracle 的核心诉求是在外部用户不感知的情况下,更换掉核心数据库。因此,陆金所研发了一套数据同步工具,以表为粒度,把 MySQL 作为 Oracle 的备库,实时同步 Oracle 的 DDL 和 DML 变更。同时在应用层实现 Oracle 和 MySQL 两套访问数据库的 DAO 层,以及开关模式的动态数据源,便于流量在 Oracle 和 MySQL 之间快速切换,在确保流量切换到 MySQL 之后,数据还能够反向向 Oracle 同步,保证数据一致性。

去 Oracle 的准备工作:按域拆分

为了顺利完成去 Oracle 工作,陆金所在 2016 年到 2018 年期间进行了数据库的按域拆分。其主要目的有三个,分别是:
细粒度拆分数据库、分片化,实现数据库容量的水平扩展;
应用解耦、服务化,让应用访问数据库的调用更加清晰和规范;
严禁应用跨域访问数据库,严禁数据库之间产生数据交互,从业务角度呈现出一个更加完善的数据库架构。
整个按域拆分过程中比较大的难点是大事务拆分和多表关联复杂查询。王英杰表示:“单库上原有的大事务拆分后是通过应用层的分布式事务机制在多库上实现,而单库上原有的多表关联复杂查询在拆分之后,是在应用层实现或在特殊场景中通过分布式存储引擎来支持。”
据了解,陆金所的数据库按域拆分主要有四个关键阶段:
第一阶段,应用改造实现逻辑拆分。按表为粒度对大库的数据库对象进行梳理,把每张表归属于不同的应用域。在应用层根据梳理的结果对操作表的代码进行改造,包括:拆分复杂的大查询、拆分庞大的事务以及将操作表的代码全部封装在属主应用的代码中,非属主应用无法直接操作表,通过调用服务接口的方式实现非常规范的应用访问数据库的调用链。
第二阶段,逻辑拆分完成后,以数据库的角度对应用改造的结果进行验证。在同一个物理库,使用逻辑 schema 的方式对数据库对象的授权进行调整,验证应用改造符合预期。
第三阶段是数据库迁移和实时同步。逻辑层拆分验证完成后,通过实时同步把待拆分的数据库对象实时同步到另外一个物理库。上述所有改造步骤对应用层无感知。
第四阶段是物理拆分和切换流量。源端和目标端保持实时同步后,在某个时间点推送配置并切换流量。整个过程最好有一套完善的自动化运维确保各个细节工作的无缝落地。流量切换操作,必须确保可以随时前滚和回滚。
以上就是陆金所去 Oracle 实践过程中的方案选择与准备工作,受篇幅所限,去 Oracle 的具体实践与经验总结将在下文分享,欢迎持续关注。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
免费领取
登录 后留言

全部留言(6)

  • 最新
  • 精选
  • 小斧
    第一阶段,应用改造实现逻辑拆分。 第二阶段,逻辑拆分完成后,以数据库的角度对应用改造的结果进行验证。 第三阶段是数据库迁移和实时同步。 第四阶段是物理拆分和切换流量。
    4
  • 终结者999号
    陆金所选择去 Oracle 也是因为原有的 Oracle 数据库架构扩展性很差,有例子吗?
    2
  • 小哪吒
    费用+水平扩展不方便+新创国产化
    归属地:广东
  • 像Oracle12c以后的分片技术,就不能再说它差了吧?也是Shared-Nothing的技术
  • undefined
    Oracle不好用?客户就要求必须用Oracle怎么无感知切换
  • 邓呵呵
    为何要迁移?省钱?
收起评论
大纲
固定大纲
陆金所的业务场景与去 Oracle 节奏
去 Oracle 方案的选择
去 Oracle 的准备工作:按域拆分
显示
设置
留言
6
收藏
99+
沉浸
阅读
分享
手机端
快捷键
回顶部