| ... | ... | @@ -130,12 +130,18 @@ zhongben |
|
|
|
| zhixing, shixin, zhongben | 将爬虫结果更新到任务表中 |http://192.168.109.110/granite/project-collie-app/-/blob/master/app_risk/data_pump/zxgk_update_id.yml |
|
|
|
|
## 数据存储表地址
|
|
|
|
###任务表
|
|
|
|
```angular2html
|
|
|
|
主要包括id(zhixing_id,ep_id,zhongben_id)，task_result(1000/1101/null),failures_number(爬取失败次数:0--max_failure_number)等字段
|
|
|
|
```
|
|
|
|
| data_type | 表简介 | 数据库地址 | 表名 |
|
|
|
|
|:------------------:|:--------------------:|:-----------------------------:|:----------|
|
|
|
|
| zhixing| zhixing任务表，用于发布爬虫任务 | bdp-ext.rwlb.rds.aliyuncs.com | bdp_risk.risk_zhixing_loss
|
|
|
|
| shixin | shixin任务表，用于发布爬虫任务 | bdp-ext.rwlb.rds.aliyuncs.com | bdp_risk.risk_shixin_loss
|
|
|
|
| zhongben | zhongben任务表，用于发布爬虫任务 | bdp-ext.rwlb.rds.aliyuncs.com | bdp_risk.risk_zhongben_loss
|
|
|
|
###业务表
|
|
|
|
```angular2html
|
|
|
|
业务数据，包含爬虫结果(id,name等)以及内部分析字段(company_name_digest等)
|
|
|
|
```
|
|
|
|
| data_type | 表简介 | 数据库地址 | 表名 |
|
|
|
|
|:---------:|:--------------------:|:----------------------------------:|:----------|
|
|
|
|
| zhixing | zhixing业务表,记录所有业务字段 | bdp-rds-001.mysql.rds.aliyuncs.com | utn_ng_risk.risk_zhixing
|
| ... | ... | |
