Skip to content

GitLab

risk_zxgk_find_new · Changes

Page history
update:找新说明 authored by Liu Zhiqiang's avatar Liu Zhiqiang
Hide whitespace changes
Inline Side-by-side
Showing with 52 additions and 115 deletions
data_stream/risk/risk_zxgk_find_new.md
View page @ c58530ff
# **找新逻辑简介**
# 执行公开找新策略
## 找新简述
```buildoutcfg
执行公开找新(包含：'zhixing','shixin','xianxiao','zhongben')
zhixing: 通过任务表增加的zhixing_id和爬取结果1101的zhixing_id进行找新
shixin: 通过任务表增加的ep_id和爬取结果1101的ep_id进行找新
zhongben: 通过任务表增加的zhongben_id和爬取结果1101的zhongben_id进行找新
xianxiao： 通过shixin和zhongben新增数据的name进行找新
```
## 数据名称
<!-- 该项数据的中文标准名称，后续沟通交流使用的规范名称，如：工商公示股东信息、失信被执行人、一般纳税人等-->
###
```buildoutcfg
执行公开信息(risk_zxgk)
```
## 采集网站（采集入口）
<!--采集的入口地址，不能只是一个网站域名，具体到该网站的数据入口-->
```buildoutcfg
网站数据接口:
http://zxgk.court.gov.cn
```
## 采集频率及采集策略
<!--说明该项数据更新频率，存量数据的更新频率及策略、新增数据的采集频率及策略-->
### 增量采集策略
## 找新策略详情
<!--新增数据怎么来？无需单独采集新增数据？-->
```buildoutcfg
* 被执行人
* 每天发布四次任务，每次发布的zhixing_id为距今十五天内且爬取失败次数小于80次且爬取结果为1101或null的zhixing_id
* 每次发布任务前，判断爬取结果为1000的最大zhixing_id与表内最大zhixing_id,若两个id只差小于七万，就补充差额的zhixing_id到loss表内
* 每次发布任务前，判断任务表内执行结果为1000的最大zhixing_id id1与表内最大zhixing_id id2,若两个id之差(id2-id1)小于七万，就补充差额的zhixing_id到任务表内。
* 终本案件
* 根据每天终本网页上的最大zhongben_id,按照向上增加2万，向下增加6万的范围补充执行表内没有的id
* 根据每天终本网页上的最大zhongben_id(有些zhongben_id为错误值，需要排除),按照向上增加2万，向下增加6万的范围补充执行任务表内没有的id
* 每天发布四次任务，每次发布的zhongben_id为距今3天内且爬取失败次数小于80次且爬取结果为1101或null的zhongben_id
* 限制高消费
......@@ -51,31 +26,13 @@ http://zxgk.court.gov.cn
* 失信被执行人
* 与被执行招新策略一致，增大ep_id后发布任务
```
---
# **爬虫**
## 责任人
```buildoutcfg
杨龙斌
```
## 爬虫名称
<!--spider_name-->
```buildoutcfg
risk_zxgk
```
## 代码地址
```buildoutcfg
项目地址:http://tech.pingansec.com/granite/project-gravel/-/tree/develop_general_taxpayer/scrapy_spiders/gravel_spiders/spiders
```
发布id的时间范围，最大失败次数以及补充id的范围都可通过data_pump的参数进行调整
###data_pump参数说明
| task_type<br/>(任务类型) | search_days<br/>(任务表发布时间范围) | incre<br/>(向上扩大id数量) | decre<br/>(向下扩大id数量) | max_failure_number<br/>(爬取失败最大次数,默认80) |
|:---------------:|:----------------------:|:--------------------:|:--------------------:|:--------------------------------------:|
| zhixing | -v search_days 16 | -v incre 70000 | -v decre 0 | 80 |
| zhongben | -v search_days 4 | -v incre 20000 | -v decre 40000 | 80 |
| shixin | -v search_days 16 | -v incre 70000 | -v decre 0 | 80 |
## 队列名称及队列地址
<!--redis host port db key 优先级说明-->
......@@ -93,104 +50,78 @@ risk_zxgk
* zhixing：risk_zxgk:101
* shixin：risk_zxgk:102
* zhongben：risk_zxgk:103
* xianxiao：risk_zxgk:104
* xianxiao：risk_zxgk:4
* 存量循环更新任务
* zhixing：risk_zxgk:51
* shixin：risk_zxgk:52
* zhongben：risk_zxgk:53
* xianxiao：risk_zxgk:54
* xianxiao：risk_zxgk:2
* 补漏及其他任务
* risk_zxgk:60
## 任务来源
<!--说明爬虫任务的输入。如：来自某个数据库表等。如果来自某个数据库表则应该简要说明该表内的数据是如何维护的。-->
```buildoutcfg
```
## 任务输入参数（样例）
###找新任务
```json
通用任务
zhixing
{
"zhixing_id": "1371041114",
"task_type": "spider_zhixing_task"
"task_type": "spider_zhixing_task",
"update_id_type": "zhixing"
}
shixin
{
"shixin_id": "1371041114",
"task_type": "spider_shixin_task"
"task_type": "spider_shixin_task",
"update_id_type": "shixin"
}
xianxiao
{
"pname": "刘春志",
"task_type": "spider_xianxiao_task"
"task_type": "spider_xianxiao_task",
"update_id_type": "xianxiao"
}
zhongben
{
"zhongben_id": "1371041114",
"task_type": "spider_zhongben_task"
"task_type": "spider_zhongben_task",
"update_id_type": "zhongben"
}
zhixing 通过pname查询
```
###例行更新任务
```angular2html
任务参数中update_id_type变化
zhixing
{
"zhixing_id": "",
"zhixing_id": "1371041114",
"task_type": "spider_zhixing_task",
"pname": "阮芙",
"pname_id_task": true
"update_id_type": "zhixing_routine"
}
# 综合查询 name 和 case_code是必要字段
shixin
{
"task_type": "spider_zonghe_task",
"name": "张三",
"case_code": "(2018)川0921执801号"
"shixin_id": "1371041114",
"task_type": "spider_shixin_task",
"update_id_type": "shixin_routine"
}
```
### 任务样例
<!--注意是爬虫拿到的完整任务，而不仅仅是task_params-->
```buildoutcfg
```
### 任务参数说明
<!--特有参数说明，通用参数比如spider_name,task_params,task_src,task_result等不需说明-->
```json
xianxiao
{
"zhixing_id": "",
"task_type": "spider_zhixing_task",
"pname": "阮芙",
"pname_id_task": true,
"update_id_type": "zhixing_routine"
"pname": "刘春志",
"task_type": "spider_xianxiao_task",
"update_id_type": "xianxiao_routine"
}
pname_id_task: 这个任务的类型，是否是通过pname查询
update_id_type: 任务类型，zhixing_routine表示执行存量例行更新, zhixing表示执行找新
```
## data_type说明
<!--可能产生的data_type说明-->
```buildoutcfg
detail: 详情信息 列表,其中每个字典为一条数据,只有这一种类型
zhongben
{
"zhongben_id": "1371041114",
"task_type": "spider_zhongben_task",
"update_id_type": "zhongben_routine"
}
```
## 代码地址
| data_type | 代码简介 |代码地址 |
......@@ -198,13 +129,19 @@ detail: 详情信息 列表,其中每个字典为一条数据,只有这一种类
| zhixing, shixin, zhongben | 通过任务表发布任务到redis | http://192.168.109.110/granite/project-collie-app/-/blob/master/app_risk/data_pump/zxgk_update_id_to_redis.yml |
| zhixing, shixin, zhongben | 将爬虫结果更新到任务表中 |http://192.168.109.110/granite/project-collie-app/-/blob/master/app_risk/data_pump/zxgk_update_id.yml |
## 数据存储表地址
###任务表
| data_type | 表简介 | 数据库地址 | 表名 |
|:------------------:|:--------------------:|:-----------------------------:|:----------|
| zhixing| zhixing任务表，用于发布爬虫任务 | bdp-ext.rwlb.rds.aliyuncs.com | bdp_risk.risk_zhixing_loss
| shixin | shixin任务表，用于发布爬虫任务 | bdp-ext.rwlb.rds.aliyuncs.com | bdp_risk.risk_shixin_loss
| zhongben | zhongben任务表，用于发布爬虫任务 | bdp-ext.rwlb.rds.aliyuncs.com | bdp_risk.risk_zhongben_loss
###业务表
| data_type | 表简介 | 数据库地址 | 表名 |
|:---------:|:--------------------:|:----------------------------------:|:----------|
| zhixing | zhixing业务表,记录所有业务字段 | bdp-rds-001.mysql.rds.aliyuncs.com | utn_ng_risk.risk_zhixing
| shixin | shixin业务表,记录所有业务字段 | bdp-rds-003.mysql.rds.aliyuncs.com | utn_risk.risk_shixin
| zhongben | zhongben业务表,记录所有业务字段 | bdp-rds-001.mysql.rds.aliyuncs.com | utn_ng_risk.risk_zhongben
| xianxiao | xianxiao业务表,记录所有业务字段 | bdp-rds-001.mysql.rds.aliyuncs.com | utn_ng_risk.risk_xianxiao
## 部署地址
<!--机器及线上代码地址-->
......