| ... | ... | @@ -44,8 +44,9 @@ zhongben --> xianxiao:部分进入 |
|
|
|
* 失信被执行人
|
|
|
|
* 与被执行招新策略一致，增大ep_id后发布任务
|
|
|
|
```
|
|
|
|
发布id的时间范围，最大失败次数以及补充id的范围都可通过data_pump的参数进行调整
|
|
|
|
###data_pump参数说明
|
|
|
|
```发布id的时间范围，最大失败次数以及补充id的范围都可通过data_pump的参数进行调整```
|
|
|
|
|
|
|
|
### data_pump参数说明
|
|
|
|
| task_type<br/>(任务类型) | search_days<br/>(任务表发布时间范围) | incre<br/>(向上扩大id数量) | decre<br/>(向下扩大id数量) | max_failure_number<br/>(爬取失败最大次数,默认80) |
|
|
|
|
|:---------------:|:----------------------:|:--------------------:|:--------------------:|:--------------------------------------:|
|
|
|
|
| zhixing | -v search_days 16 | -v incre 70000 | -v decre 0 | 80 |
|
| ... | ... | @@ -166,7 +167,9 @@ failures_number(爬取失败次数:0--max_failure_number)等字段 |
|
|
|
| shixin | shixin业务表,记录所有业务字段 | bdp-rds-003.mysql.rds.aliyuncs.com | utn_risk.risk_shixin
|
|
|
|
| zhongben | zhongben业务表,记录所有业务字段 | bdp-rds-001.mysql.rds.aliyuncs.com | utn_ng_risk.risk_zhongben
|
|
|
|
| xianxiao | xianxiao业务表,记录所有业务字段 | bdp-rds-001.mysql.rds.aliyuncs.com | utn_ng_risk.risk_xianxiao
|
|
|
|
##钉钉预警
|
|
|
|
|
|
|
|
## 钉钉预警
|
|
|
|
|
|
|
|
**找新预警:以zhongben找新为例，其余三种数据预警逻辑一致，每天找新成功的爬虫日志少于10条时预警**
|
|
|
|
```angular2html
|
|
|
|
报警信息：zhongben24小时内找新失败
|
| ... | ... | @@ -214,5 +217,4 @@ failures_number(爬取失败次数:0--max_failure_number)等字段 |
|
|
|
2.代码生成新的执行id进行爬虫任务发布
|
|
|
|
```
|
|
|
|
|
|
|
|
<!--来源于kafka还是归集的文件、topic的group？-->
|
|
|
|
|
|
|
|
<!--来源于kafka还是归集的文件、topic的group？--> |
|
|
\ No newline at end of file |
