| ... | ... | @@ -277,13 +277,45 @@ task_result=8000 # 参数错误 |
|
|
|
## 爬虫监控指标设计
|
|
|
|
<!--监控爬虫正常运行的指标是什么？报警规则是什么？-->
|
|
|
|
```buildoutcfg
|
|
|
|
(先观察，待补充)
|
|
|
|
索引:
|
|
|
|
监控频率:
|
|
|
|
监控起止时间:
|
|
|
|
报警条件:
|
|
|
|
报警群:
|
|
|
|
报警内容:
|
|
|
|
索引: ad_spider_log-*
|
|
|
|
爬虫名称: ad_baidu_pc
|
|
|
|
监控频率: 每4小时监控一次
|
|
|
|
监控起止时间: 6:00到20:00
|
|
|
|
报警条件: ad_baidu_pc爬虫,4小时内task_result=1000的量少于50w条
|
|
|
|
报警群: "爱查数据报警"群
|
|
|
|
报警模板:【报警】ad_baidu_pc数据量监测_近4小时成功数低于50w条
|
|
|
|
|
|
|
|
索引: ad_spider_log-*
|
|
|
|
爬虫名称: ad_baidu_h5
|
|
|
|
监控频率: 每4小时监控一次
|
|
|
|
监控起止时间: 6:00到20:00
|
|
|
|
报警条件: ad_baidu_h5爬虫,4小时内task_result=1000的量少于8w条
|
|
|
|
报警群: "爱查数据报警"群
|
|
|
|
报警模板:【报警】ad_baidu_h5数据量监测_近4小时成功数低于8w条
|
|
|
|
|
|
|
|
索引: ad_spider_log-*
|
|
|
|
爬虫名称: ad_360_pc
|
|
|
|
监控频率: 每4小时监控一次
|
|
|
|
监控起止时间: 6:00到20:00
|
|
|
|
报警条件: ad_360_pc爬虫,4小时内task_result=1000的量少于50w条
|
|
|
|
报警群: "爱查数据报警"群
|
|
|
|
报警模板:【报警】ad_360_pc数据量监测_近4小时成功数低于50w条
|
|
|
|
|
|
|
|
索引: ad_spider_log-*
|
|
|
|
爬虫名称: ad_sougou_pc
|
|
|
|
监控频率: 每4小时监控一次
|
|
|
|
监控起止时间: 6:00到20:00
|
|
|
|
报警条件: ad_sougou_pc爬虫,4小时内task_result=1000的量少于40w条
|
|
|
|
报警群: "爱查数据报警"群
|
|
|
|
报警模板:【报警】ad_sougou_pc数据量监测_近4小时成功数低于40w条
|
|
|
|
|
|
|
|
索引: ad_spider_log-*
|
|
|
|
爬虫名称: ad_shenma_h5
|
|
|
|
监控频率: 每4小时监控一次
|
|
|
|
监控起止时间: 6:00到20:00
|
|
|
|
报警条件: ad_shenma_h5爬虫,4小时内task_result=1000的量少于3w条
|
|
|
|
报警群: "爱查数据报警"群
|
|
|
|
报警模板:【报警】ad_shenma_h5数据量监测_近4小时成功数低于3w条
|
|
|
|
|
|
|
|
```
|
|
|
|
|
| ... | ... | |
