数据库同步有哪些方式？【怎么保障目标和源数据一致性】「建议收藏」

文章目录

• 摘要
• 一、几种主流的数据库同步方式
• 二、架构及工作原理
• 三、全量同步和实时增量同步机制
• 四、源和目标
• 五、举例：Oracle 数据实时同步到 Elasticsearch
• 六、目标和源数据一致性
• 七、异构数据类型转换
• 八、总结

摘要

数据库同步有3大难题：
1是如何保障目标和源数据一致性；
2是异构数据库如何做数据类型转换，导致数据同步失败的原因常常是因为数据类型不一样；
3是在数据越实时越有价值的背景下，同步过程中能否做到实时同步。

一、几种主流的数据库同步方式

方式一：基于无侵入的日志模式(如Oracle redo、Mysql binlog）
基于日志的采集方式无需在源库端部署任务代理程序(Agent)及建任何表，对源数据库无侵入和影响压力；

方式二：基于时间戳
同步过程通过特定属性（如时间戳、自增序列）来识别新插入的数据，该方式实现最简单，但无法记录删除和更新，也不具备实时的能力；

方式三：基于触发器
基于数据库的触发器机制，当执行DML相关语句时，执行动作来捕获数据，该方式会降低系统能，因此大多数场景下，生产系统不允许添加触发器。

方式四：基于快照
基于快照的方式，可以通过比较源表和快照表来获得数据变化，但需要消耗大量存储空间和计算资源。

方式五：基于离线批处理
通过jdbc查询来批量获取数据，会进行数据表的大范围扫描和数据提取，会对数据库产生大量开销。

本文主要探讨无侵入的CDC模式，并以运用这种模式的数据库同步云工具 Tapdata Cloud 举例，你要问我为啥用它举例，原因只有一个：永久免费。

二、架构及工作原理

Tapdata Cloud包含两部分：

1. Tapdata Cloud Manager，TCM是Tapdata Cloud的管理端，负责agent实例的安装，同步任务的配置、分发、任务状态监测。
2. Tapdata agent，是Tapdata Cloud数据同步服务的执行实例，负责从TCM获取任务信息，通过流式技术从源系统获取数据、处理转换数据并发送到目标系统，并在任务执行过程中监测并上报任务状态至TCM。

（Tapdata Cloud 工作原理图）

七、异构数据类型转换

在异构数据库之间做同步，类型转换是一大难题，也是导致数据同步失败的重要原因，Tapdata Cloud 类型映射功能，在系统推演的基础上，提供了人工调整的能力，这一点比其他数据同步工具都更方便使用。

八、总结

为了达到数据实时要求，并且不对源库造成干扰，首选 CDC 模式。
现在市面上已经陆续出现了一些数据同步工具，完全没有必要自己撸代码了，免费的用起来不香吗？
希望上文的实操图文，对你的数据库同步有帮助，有数据库相关的问题可以随时跟我交流！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/181413.html原文链接：https://javaforall.cn

未经允许不得转载：木盒主机 » 数据库同步有哪些方式？【怎么保障目标和源数据一致性】「建议收藏」