增量数据交付
通过data_pump驱动mysql通用入库模块,并且根据数据更新周期调整入库时间
project-collie-app/app_lake_output/deploy/wiseweb/ftp_update_mysql.sh
这个脚本实现的功能点: 1.每周2次自动入库:cron加日期判断 2.根据业务要求,数据具有顺序性,保证了单进程执行:_LOCK_data_pump 3.建立数据依赖,前一天的数据执行完即生成日志后,后续的一天数据才会被执行入库 4.报警机制,在发现数据为下载完成或者上一个周期没有执行完成后,会退出执行并报警到钉钉群,人工介入后才可以恢复例行