|
|
|
# 增量数据交付
|
|
|
|
|
|
|
|
通过data_pump驱动mysql通用入库模块,并且根据数据更新周期调整入库时间
|
|
|
|
```html
|
|
|
|
project-collie-app/app_lake_output/deploy/wiseweb/ftp_update_mysql.sh
|
|
|
|
```
|
|
|
|
这个脚本实现的功能点：
|
|
|
|
1.每周2次自动入库：cron加日期判断
|
|
|
|
2.根据业务要求,数据具有顺序性，保证了单进程执行：_LOCK_data_pump
|
|
|
|
3.建立数据依赖，前一天的数据执行完即生成日志后，后续的一天数据才会被执行入库
|
|
|
|
4.报警机制，在发现数据为下载完成或者上一个周期没有执行完成后，会退出执行并报警到钉钉群，人工介入后才可以恢复例行
|
|
|
|
|
|
|
|
|
