... | @@ -23,7 +23,10 @@ topic_maxwell_test --> 处理数据消费组: 根据需求对数据进行清洗 |
... | @@ -23,7 +23,10 @@ topic_maxwell_test --> 处理数据消费组: 根据需求对数据进行清洗 |
|
@enduml
|
|
@enduml
|
|
```
|
|
```
|
|
```
|
|
```
|
|
由maxwell监控业务需求的mysql库表,将binlog数据发送到kafka,以tablename的hash值作为partiti_key,通过同一个表的数据落在同一个分区中以保证binlog数据的时序性。由data_pump消费kafka数据,分两个方面,一方面对数据不做处理,将原始binlog文件持久化到磁盘做原始数据存储;一方面根据业务需求增加自定义udm模块对数据进行清洗转换,后持久化到指定目录。
|
|
由maxwell监控业务需求的mysql库表,将binlog数据发送到kafka,以tablename的hash值作为partiti_key,
|
|
|
|
通过同一个表的数据落在同一个分区中以保证binlog数据的时序性。由data_pump消费kafka数据,分两个方面,
|
|
|
|
一方面对数据不做处理,将原始binlog文件持久化到磁盘做原始数据存储;
|
|
|
|
一方面根据业务需求增加自定义udm模块对数据进行清洗转换,后持久化到指定目录。
|
|
```
|
|
```
|
|
|
|
|
|
## 监控表分布详情
|
|
## 监控表分布详情
|
... | | ... | |