| ... | ... | @@ -37,6 +37,7 @@ zhongben --> xianxiao:部分进入 |
|
|
|
* 终本案件
|
|
|
|
* 根据每天终本网页上的最大zhongben_id(有些zhongben_id为错误值，需要排除),按照向上增加2万，向下增加6万的范围补充执行任务表内没有的id
|
|
|
|
* 每天发布四次任务，每次发布的zhongben_id为距今3天内且爬取失败次数小于80次且爬取结果为1101或null的zhongben_id
|
|
|
|
* zhongben_id存在复用的情况，即新增数据的zhongben_id与存量数据的zhongben_id一致，为了能找到这些新增数据，找新发布的任务还包括 以今日获取的zhongben_id为基准上下增加的zhongben_id，不按照爬取结果进行过滤。
|
|
|
|
|
|
|
|
* 限制高消费
|
|
|
|
* 使用每天失信和终本新增的name作为任务进行查找
|
| ... | ... | @@ -170,6 +171,11 @@ failures_number(爬取失败次数:0--max_failure_number)等字段 |
|
|
|
|
|
|
|
## 钉钉预警
|
|
|
|
|
|
|
|
**报警设置**
|
|
|
|
```angular2html
|
|
|
|
1.对于从es可直接聚合出报警条件的，可直接配置报警
|
|
|
|
2.需要从表中统计结果设置报警条件的，需要将统计结果写到es的mysql_stat-*索引，再配置报警
|
|
|
|
```
|
|
|
|
**找新预警:以zhongben找新为例，其余三种数据预警逻辑一致，每天找新成功的爬虫日志少于10条时预警**
|
|
|
|
```angular2html
|
|
|
|
报警信息：zhongben24小时内找新失败
|
| ... | ... | |
