| ... | ... | @@ -12,7 +12,7 @@ database ic_ar |
|
|
|
database ic_base
|
|
|
|
database ic_biz
|
|
|
|
file update_data_json
|
|
|
|
queue table_update_redis
|
|
|
|
queue maxwell
|
|
|
|
file update_data_json_province
|
|
|
|
|
|
|
|
bson_aliyun --> bson_office: 共享盘/data_227/
|
| ... | ... | @@ -20,10 +20,10 @@ bson_office --> kafka的topic_ic_spider_all: 所有的数据类型,bson_reader,k |
|
|
|
kafka的topic_ic_spider_all --> ic_ar: ar相关data_type，kafka_reader,sync_mysql_filter,redis_writer
|
|
|
|
kafka的topic_ic_spider_all --> ic_base: base相关data_type，kafka_reader,sync_mysql_filter,redis_writer
|
|
|
|
kafka的topic_ic_spider_all --> ic_biz: biz相关data_type，kafka_reader,sync_mysql_filter,redis_writer
|
|
|
|
ic_ar --> table_update_redis: 入库时将变化记录的主键写入redis
|
|
|
|
ic_base --> table_update_redis: 入库时将变化记录的主键写入redis
|
|
|
|
ic_biz --> table_update_redis: 入库时将变化记录的主键写入redis
|
|
|
|
table_update_redis --> update_data_json: redis_reader,udm_filter,file_writer
|
|
|
|
ic_ar --> maxwell: 监控mysql的binlog
|
|
|
|
ic_base --> maxwell: 监控mysql的binlog
|
|
|
|
ic_biz --> maxwell: 监控mysql的binlog
|
|
|
|
maxwell --> update_data_json
|
|
|
|
update_data_json --> update_data_json_province: 按省份分目录,/data_227/data_sync/lake_ic/province/province_short/
|
|
|
|
|
|
|
|
@enduml
|
| ... | ... | @@ -39,7 +39,7 @@ data_pump配置文件： |
|
|
|
supervisor配置：(29个进程)
|
|
|
|
/home/collie/product/app_online_lake/supervisor/ic_spider_sync_lake.conf
|
|
|
|
/etc/supervisord.d/ic_spider_sync_lake.conf
|
|
|
|
2.消费kafka更新mysql并写入redis：
|
|
|
|
2.消费kafka更新mysql：
|
|
|
|
部署地址：10.8.6.84
|
|
|
|
data_pump配置文件：
|
|
|
|
/home/collie/product/app_online_lake/data_pump/new_online/collie_all_spider_update_lake_kafka.yml
|
| ... | ... | @@ -96,16 +96,12 @@ db:ic_ar、ic_biz、ic_base |
|
|
|
| gov_unit | 机关单位 |
|
|
|
|
| trade_union | 工会 |
|
|
|
|
|
|
|
|
## 增量数据读redis查mysql获取
|
|
|
|
## 增量数据地址
|
|
|
|
|
|
|
|
```
|
|
|
|
部署地址：10.8.6.84
|
|
|
|
/home/collie/product/app_online_lake/data_pump/new_online/collie_all_spider_update_lake_redis.yml
|
|
|
|
supervisor配置：(37个进程)
|
|
|
|
/home/collie/product/app_online_lake/supervisor/ic_spider_update_lake_redis.conf
|
|
|
|
/etc/supervisord.d/ic_spider_update_lake_redis.conf
|
|
|
|
redis:bdp-mq-001.redis.rds.aliyuncs.com
|
|
|
|
db:1
|
|
|
|
Maxwell部署地址：
|
|
|
|
Maxwell获取的原始binlog数据地址：10.8.6.227: /data4/data_sync/maxwell_binlog
|
|
|
|
对外输出的增量数据地址：10.8.6.227: /data/data_sync/lake_ic
|
|
|
|
```
|
|
|
|
|
|
|
|
## 按省份分目录
|
| ... | ... | |
