| ... | ... | @@ -60,7 +60,7 @@ xianxiao： 通过shixin和zhongben新增数据的name进行找新 |
|
|
|
* risk_zxgk:60
|
|
|
|
|
|
|
|
## 任务输入参数（样例）
|
|
|
|
###找新任务
|
|
|
|
找新任务
|
|
|
|
```json
|
|
|
|
zhixing
|
|
|
|
{
|
| ... | ... | @@ -90,7 +90,7 @@ zhongben |
|
|
|
"update_id_type": "zhongben"
|
|
|
|
}
|
|
|
|
```
|
|
|
|
###例行更新任务
|
|
|
|
例行更新任务
|
|
|
|
```angular2html
|
|
|
|
任务参数中update_id_type变化
|
|
|
|
zhixing
|
| ... | ... | @@ -129,18 +129,17 @@ zhongben |
|
|
|
| zhixing, shixin, zhongben | 通过任务表发布任务到redis | http://192.168.109.110/granite/project-collie-app/-/blob/master/app_risk/data_pump/zxgk_update_id_to_redis.yml |
|
|
|
|
| zhixing, shixin, zhongben | 将爬虫结果更新到任务表中 |http://192.168.109.110/granite/project-collie-app/-/blob/master/app_risk/data_pump/zxgk_update_id.yml |
|
|
|
|
## 数据存储表地址
|
|
|
|
###任务表
|
|
|
|
```angular2html
|
|
|
|
主要包括id(zhixing_id,ep_id,zhongben_id)，task_result(1000/1101/null),failures_number(爬取失败次数:0--max_failure_number)等字段
|
|
|
|
任务表:主要包括id(zhixing_id,ep_id,zhongben_id)，task_result(1000/1101/null),
|
|
|
|
failures_number(爬取失败次数:0--max_failure_number)等字段
|
|
|
|
```
|
|
|
|
| data_type | 表简介 | 数据库地址 | 表名 |
|
|
|
|
|:------------------:|:--------------------:|:-----------------------------:|:----------|
|
|
|
|
| zhixing| zhixing任务表，用于发布爬虫任务 | bdp-ext.rwlb.rds.aliyuncs.com | bdp_risk.risk_zhixing_loss
|
|
|
|
| shixin | shixin任务表，用于发布爬虫任务 | bdp-ext.rwlb.rds.aliyuncs.com | bdp_risk.risk_shixin_loss
|
|
|
|
| zhongben | zhongben任务表，用于发布爬虫任务 | bdp-ext.rwlb.rds.aliyuncs.com | bdp_risk.risk_zhongben_loss
|
|
|
|
###业务表
|
|
|
|
```angular2html
|
|
|
|
业务数据，包含爬虫结果(id,name等)以及内部分析字段(company_name_digest等)
|
|
|
|
业务表:业务数据，包含爬虫结果(id,name等)以及内部分析字段(company_name_digest等)
|
|
|
|
```
|
|
|
|
| data_type | 表简介 | 数据库地址 | 表名 |
|
|
|
|
|:---------:|:--------------------:|:----------------------------------:|:----------|
|
| ... | ... | |
