降本、提速、少干扰,火山引擎DataLeap重点升级CDC分库分表能力

来源:互联网 阅读:- 发布:2023-10-24 17:59:11

CDC(Change Data Capture)是一种数据捕获技术,用于跟踪数据库中数据的变化。它的主要目的是捕获数据库中数据的增删改操作,并将这些变化实时或定时地记录下来,以便进行后续的处理和分析。

近日,在原有的整库方案基础上,大数据研发治理套件 DataLeap 重点升级了数据集成CDC分库分表能力,可离线+实时将多个实例的多个数据库多个分表同步到目标端中,更精准适配于业务中的实时分库分表场景。

同时,DataLeap支持将 MySQL 同步到 EMR-Doris、EMR-Starrocks、LAS,助力将最新增量数据,以最快且最低的带宽成本同步到目标库,辅助业务数据分析更加准确、高效。

相比于批量抽取而言,CDC有着成本低、速度快、少干扰三大优势。

通过仅发送增量变更,CDC能力可帮助用户降低通过网络传输数据的成本。同时,CDC可将事务直接传输到专供分析的应用上,帮助用户根据最新的数据做出更快、更准确的决策;最后,CDC 可以通过监听数据库的日志或 API 接口,捕获数据变更事件,并将其发送到目标系统或存储库中,而无需在生产环境中大量传输数据,减少了网络流量的占用,降低了对生产环境的干扰。

图片1.jpg

火山引擎DataLeap——实时分库分表同步能力界面

同时,火山引擎DataLeap CDC分库分表能力目前支持“使用缓存”、“无需缓存,直接同步”两种缓存配置方式,可做到直连同步,也可支持中间件缓存到后kafka后再同步,这样更灵活的缓存同步模式、极大地帮助客户提高了数据消费灵活性。

火山引擎DataLeap通过快速连接云下自建/云上数据源进行数据采集同步,可帮助客户连接各类数据上云,以及云上数据流动,轻松完成数据入仓入湖,有效发挥数据的价值,同时借助CDC分库分表同步能力,支持数据端到端快速同步,数据实时性得到进一步增强,业务决策时效性提高且更准确。

除了上述集成能力,火山引擎DataLeap还可提供数据治理、数据开发、运维、资产等能力,帮助用户提升数据研发效率、降低管理成本,加速推动企业的数据化转型,目前已经应用于泛互联网、制造、新零售、汽车等领域。

作者:叶清

推荐阅读:叶紫网