... | @@ -180,6 +180,15 @@ zhixing 通过pname查询 |
... | @@ -180,6 +180,15 @@ zhixing 通过pname查询 |
|
"pname": "阮芙",
|
|
"pname": "阮芙",
|
|
"pname_id_task": true
|
|
"pname_id_task": true
|
|
}
|
|
}
|
|
|
|
|
|
|
|
|
|
|
|
# 综合查询 name 和 case_code是必要字段
|
|
|
|
{
|
|
|
|
"task_type": "spider_zonghe_task",
|
|
|
|
"name": "张三",
|
|
|
|
"case_code": "(2018)川0921执801号"
|
|
|
|
}
|
|
|
|
|
|
```
|
|
```
|
|
|
|
|
|
### 任务样例
|
|
### 任务样例
|
... | @@ -202,7 +211,7 @@ zhixing 通过pname查询 |
... | @@ -202,7 +211,7 @@ zhixing 通过pname查询 |
|
"update_id_type": "zhixing_routine"
|
|
"update_id_type": "zhixing_routine"
|
|
}
|
|
}
|
|
pname_id_task: 这个任务的类型,是否是通过pname查询
|
|
pname_id_task: 这个任务的类型,是否是通过pname查询
|
|
update_id_type: 任务类型,zhixing_routine表示执行存量例行更新,zhixing表示执行找新
|
|
update_id_type: 任务类型,zhixing_routine表示执行存量例行更新, zhixing表示执行找新
|
|
```
|
|
```
|
|
|
|
|
|
## data_type说明
|
|
## data_type说明
|
... | @@ -671,14 +680,18 @@ index => "public-company-spider-data-%{log_date}" |
... | @@ -671,14 +680,18 @@ index => "public-company-spider-data-%{log_date}" |
|
# **数据清洗**
|
|
# **数据清洗**
|
|
|
|
|
|
## 责任人
|
|
## 责任人
|
|
|
|
|
|
```
|
|
```
|
|
刘治强
|
|
刘治强
|
|
```
|
|
```
|
|
|
|
|
|
## 代码地址
|
|
## 代码地址
|
|
|
|
|
|
```angular2html
|
|
```angular2html
|
|
http://192.168.109.110/granite/project-collie-app/-/blob/master/app_risk/data_pump/zxgk_update_id_to_redis.yml
|
|
http://192.168.109.110/granite/project-collie-app/-/blob/master/app_risk/data_pump/zxgk_update_id_to_redis.yml
|
|
http://192.168.109.110/granite/project-collie-app/-/blob/master/app_risk/data_pump/zxgk_update_id.yml
|
|
http://192.168.109.110/granite/project-collie-app/-/blob/master/app_risk/data_pump/zxgk_update_id.yml
|
|
```
|
|
```
|
|
|
|
|
|
## 部署地址
|
|
## 部署地址
|
|
|
|
|
|
<!--机器及线上代码地址-->
|
|
<!--机器及线上代码地址-->
|
... | @@ -692,10 +705,12 @@ http://192.168.109.110/granite/project-collie-app/-/blob/master/app_risk/data_pu |
... | @@ -692,10 +705,12 @@ http://192.168.109.110/granite/project-collie-app/-/blob/master/app_risk/data_pu |
|
- [ ] supervisor + consumer
|
|
- [ ] supervisor + consumer
|
|
|
|
|
|
## 数据接收来源
|
|
## 数据接收来源
|
|
|
|
|
|
```angular2html
|
|
```angular2html
|
|
1.爬虫数据进行数据更新
|
|
1.爬虫数据进行数据更新
|
|
2.代码生成新的执行id进行爬虫任务发布
|
|
2.代码生成新的执行id进行爬虫任务发布
|
|
```
|
|
```
|
|
|
|
|
|
<!--来源于kafka还是归集的文件、topic的group?-->
|
|
<!--来源于kafka还是归集的文件、topic的group?-->
|
|
|
|
|
|
## 数据存储表地址
|
|
## 数据存储表地址
|
... | | ... | |