网站域名区别h5商城网站开发

利用 Paimon Schema Evolution 核心特性同步变更的 mysql 表结构和数据

1、背景信息

在Paimon 诞生以前，若 mysql/pg 等数据源的表结构发生变化时，我们有几种处理方式
（1）人工通知（比如常规的使用邮件），然后运维人员手动同步到数据仓库中
（2）使用 flink 消费 DDL binlog ，然后自动更新 Hive 的外部表和内部表 schema
那么现在，有了 Paimon ，我们可以利用其特性，自动识别并同步 DDL 这些变化，并同步至 hive 的 paimon 格式表中。这种方式的优点：

1、数据链路变短，更可靠
2、降低开发、维护成本
3、降低了数据集成调度资源和计算资源的使用成本

2、软件版本

Mac OS 10.15.6
Apache Hive 3.1.3
Apache Hadoop 3.1.0
Apache Flink 1.19.1
Apache Paimon 0.9.0
Mysql 8.0
flink-sql-connector-mysql-cdc-3.1.1.jar
mysql-connector-java-8.0.27.jar
paimon-flink