BDS定位

BDS是阿里云针对开源HBase在同步迁移上的痛点，自主研发的一套数据迁移平台。

它的核心能力，是帮助HBase集群实现无缝迁移、主备容灾、异地多活、在线离线业务分离、数据归档，甚至对接RDS的实时增量数据。

说白了，就是让云上客户在自建HBase、EMR HBase、Apsara HBase之间自由地导入导出数据，从而围绕HBase构建高可用、灵活的业务系统。

使用场景

BDS在云上主要覆盖以下几个典型场景：

新旧集群无缝迁移

使用范围
HBase大版本升级（1.x升级到2.x）、集群配置升级、网络切换（经典网络切换VPC）、异地跨机房迁移、业务拆分等场景，都能用上BDS。

业务流程

在线离线业务分离

业务架构

通过BDS，将在线业务数据实时同步到离线集群，再结合Spark、MR等大数据组件进行离线数据分析。

这样一来，在线业务的查询完全不受影响，数据分析和生产业务各跑各的。

主备容灾

业务流程

BDS在主备集群之间实现实时数据的双向同步。

一旦主集群出现问题，可以立刻切换到备集群，最大程度减少对业务的影响。

等主集群服务恢复后，BDS还能自动补齐遗漏的数据，保证数据一致性。

RDS实时数据同步到HBase、Phoenix

业务架构

通过BDS将RDS数据实时同步到HBase集群，可以结合Spark、MR等组件进行离线数据分析，不影响在线业务。

还能利用HBase对动态列的支持，把MySQL中多张表合并成一张HBase大宽表，避免RDS中的join查询。

同时也能作为RDS的历史库使用。

BDS优势

• 功能性：支持跨版本的数据迁移和同步（HBase HBase、Phoenix Phoenix）；对于同构数据源迁移，支持同步建表语句，保证分区一致；支持异构数据源的实时数据同步（RDS → HBase、Phoenix）。
• 迁移同步对业务方无感知：不停服数据迁移，历史数据迁移和实时增量同步同时搞定；对业务端应用代码零侵入，业务方完全无感。
• 迁移同步对业务影响小：迁移过程中基本不跟集群的HBase交互，只读写HDFS；可以动态调整迁移速度和并发度，避免对业务产生冲击。
• 正确性：保证数据不丢失；提供数据抽样校验，确保数据一致。
• 稳定性：完善的failover机制，能自动处理常见错误；实时系统监控，方便定位上下游问题；对需要人工介入的异常进行报警；错误重试支持断点续传。
• 高效性：单个节点迁移速度可达100MB/s，节点数支持水平扩展，TB、PB级别的数据迁移也能轻松应对。

总结

BDS已经在阿里云正式上线，主要服务于云上客户在自建HBase、EMR HBase、Apsara HBase之间的数据迁移和实时同步。

目前已经服务了40多个客户，帮助实现了集群无缝迁移、升配、主备容灾，累计迁移数据规模超过400TB（单副本）。

如果有云上迁移需求的客户，可以参考《BDS服务介绍》中的详细说明。对BDS实现原理及方案感兴趣的朋友，可以查阅《BDS-HBase数据同步方案的设计与实践》一文。

《夸克》非常好用的免费AI浏览器

下载APP查看