| ... | ... | @@ -124,10 +124,11 @@ zhongben |
|
|
|
|
|
|
|
## 代码地址
|
|
|
|
|
|
|
|
| data_type | 代码简介 |代码地址 |
|
|
|
|
|:-------------------------:|:---------------:| :--------|
|
|
|
|
| zhixing, shixin, zhongben | 通过任务表发布任务到redis | http://192.168.109.110/granite/project-collie-app/-/blob/master/app_risk/data_pump/zxgk_update_id_to_redis.yml |
|
|
|
|
| zhixing, shixin, zhongben | 将爬虫结果更新到任务表中 |http://192.168.109.110/granite/project-collie-app/-/blob/master/app_risk/data_pump/zxgk_update_id.yml |
|
|
|
|
| data_type | 代码简介 |代码地址 |
|
|
|
|
|:-------------------------:|:--------------------------------:| :--------|
|
|
|
|
| zhixing, shixin, zhongben | 通过任务表发布任务到redis | http://192.168.109.110/granite/project-collie-app/-/blob/master/app_risk/data_pump/zxgk_update_id_to_redis.yml |
|
|
|
|
| zhixing, shixin, zhongben | 将爬虫结果更新到任务表中 |http://192.168.109.110/granite/project-collie-app/-/blob/master/app_risk/data_pump/zxgk_update_id.yml |
|
|
|
|
| xianxiao | 将新增的shixin和zhongben的name发布到redis |http://192.168.109.110/granite/project-collie-app/-/blob/master/app_risk/data_pump/xianxiao_find_new_to_redis.yml|
|
|
|
|
## 数据存储表地址
|
|
|
|
```angular2html
|
|
|
|
任务表:主要包括id(zhixing_id,ep_id,zhongben_id)，task_result(1000/1101/null),
|
| ... | ... | @@ -147,6 +148,32 @@ failures_number(爬取失败次数:0--max_failure_number)等字段 |
|
|
|
| shixin | shixin业务表,记录所有业务字段 | bdp-rds-003.mysql.rds.aliyuncs.com | utn_risk.risk_shixin
|
|
|
|
| zhongben | zhongben业务表,记录所有业务字段 | bdp-rds-001.mysql.rds.aliyuncs.com | utn_ng_risk.risk_zhongben
|
|
|
|
| xianxiao | xianxiao业务表,记录所有业务字段 | bdp-rds-001.mysql.rds.aliyuncs.com | utn_ng_risk.risk_xianxiao
|
|
|
|
##钉钉预警
|
|
|
|
**找新预警:以zhongben找新为例，其余三种数据预警逻辑一致，每天找新成功的爬虫日志少于10条时预警**
|
|
|
|
```angular2html
|
|
|
|
报警信息：zhongben24小时内找新失败
|
|
|
|
索引：public-company-spider-data-*
|
|
|
|
监控频率：每4小时一次
|
|
|
|
监控起止时间： 06:00到20:00
|
|
|
|
报警条件：spider_name=risk_zxgk 且 task_params.update_id_type=zhongben 且 task_result=1000 24小时内量少于10条
|
|
|
|
```
|
|
|
|
**补漏预警:以zhongben补漏为例，zhixing与shixin预警逻辑一致，统计每天任务表内未更新的数据写到total字段，total>10报警,或补漏预警程序失败未向es写入数据时报警**
|
|
|
|
```angular2html
|
|
|
|
报警内容:"报警:zhongben补漏数据24小时内未更新"
|
|
|
|
索引：mysql_stat-*
|
|
|
|
监控频率：每天两次
|
|
|
|
监控时间：10:00和16:00
|
|
|
|
报警条件：db_host=bdp-ext.rwlb.rds.aliyuncs.com且db_name=bdp_risk且db_table=risk_zhongben_loss 24小时内量为0条
|
|
|
|
或db_host=bdp-ext.rwlb.rds.aliyuncs.com且db_name=bdp_risk且db_table=risk_zhongben_loss 且total>10 24小时内量大于1条
|
|
|
|
```
|
|
|
|
**例行更新预警:zhixing T+3预警，统计三天内es例行任务量与业务表中满足例行条件的数据量进行比较，差值计入total字段，total<0，说明三天内未例行完成，进行报警**
|
|
|
|
```angular2html
|
|
|
|
报警内容:"报警:被执行表T+3更新未完成"
|
|
|
|
索引：mysql_stat-*
|
|
|
|
监控频率：每天一次
|
|
|
|
监控时间：10:00
|
|
|
|
报警条件：db_host=bdp-rds-001.mysql.rds.aliyuncs.com且db_name=utn_ng_risk且db_table=risk_zhixing且total<0 24小时内量大于0条
|
|
|
|
```
|
|
|
|
## 部署地址
|
|
|
|
|
|
|
|
<!--机器及线上代码地址-->
|
| ... | ... | |
