... | ... | @@ -28,7 +28,7 @@ xianxiao: 通过shixin和zhongben新增数据的name进行找新 |
|
|
```
|
|
|
```发布id的时间范围,最大失败次数以及补充id的范围都可通过data_pump的参数进行调整```
|
|
|
|
|
|
###data_pump参数说明
|
|
|
### data_pump参数说明
|
|
|
| task_type<br/>(任务类型) | search_days<br/>(任务表发布时间范围) | incre<br/>(向上扩大id数量) | decre<br/>(向下扩大id数量) | max_failure_number<br/>(爬取失败最大次数,默认80) |
|
|
|
|:---------------:|:----------------------:|:--------------------:|:--------------------:|:--------------------------------------:|
|
|
|
| zhixing | -v search_days 16 | -v incre 70000 | -v decre 0 | 80 |
|
... | ... | @@ -150,8 +150,7 @@ failures_number(爬取失败次数:0--max_failure_number)等字段 |
|
|
| zhongben | zhongben业务表,记录所有业务字段 | bdp-rds-001.mysql.rds.aliyuncs.com | utn_ng_risk.risk_zhongben
|
|
|
| xianxiao | xianxiao业务表,记录所有业务字段 | bdp-rds-001.mysql.rds.aliyuncs.com | utn_ng_risk.risk_xianxiao
|
|
|
|
|
|
``` ```
|
|
|
##钉钉预警
|
|
|
## 钉钉预警
|
|
|
|
|
|
**找新预警:以zhongben找新为例,其余三种数据预警逻辑一致,每天找新成功的爬虫日志少于10条时预警**
|
|
|
```angular2html
|
... | ... | |