Skip to content

GitLab

risk_zhixing · Changes

Page history
update risk_zxgk md authored by 杨龙斌's avatar 杨龙斌
Hide whitespace changes
Inline Side-by-side
Showing with 176 additions and 65 deletions
data_stream/risk/risk_zhixing.md
View page @ a6fa9524
# **基本信息**
```buildoutcfg
执行公开爬虫
通过增加的id和数据库已有id进行找新和更新
如果没有id，通过pname查找
执行公开爬虫(包含：'zhixing','shixin','xianxiao','zhongben')
zhixing: 通过增加的id和数据库已有id进行找新和更新,如果没有id，通过pname查找
shixin: 通过增加的id进行找新，更新
```
## 数据名称（中文）
<!-- 该项数据的中文标准名称，后续沟通交流使用的规范名称，如：工商公示股东信息、失信被执行人、一般纳税人等-->
###
###
```buildoutcfg
执行公开信息
......@@ -31,7 +31,6 @@ risk_zxgk
```buildoutcfg
网站数据接口:
http://zxgk.court.gov.cn
```
## 采集频率及采集策略
......@@ -42,15 +41,20 @@ http://zxgk.court.gov.cn
<!--无需更新？每天全量更新？逐条轮询更新？多久更新完一轮？或其他-->
```buildoutcfg
* 被执行人
* 根据表里面状态仍是被执行状态的数据，逐条循环滚动更新
* 终本案件
* 根据表里面状态，逐条循环滚动更新
* 限制高消费
* 根据表里面状态仍是被限制消费的数据，逐条循环滚动更新
* 失信被执行人
* 根据表里面状态仍是被执行状态的数据，逐条循环滚动更新
```buildoutcfg
存量连续更新，预计两周更新一轮，逐条更新目前仍是失信状态的。
db_host: bdp-rds-001.mysql.rds.aliyuncs.com
db_name: utn_ng_risk
......@@ -64,14 +68,23 @@ db_password:
<!--新增数据怎么来？无需单独采集新增数据？-->
```buildoutcfg
1、每天从表中查询最大id并生成今天的任务
* 被执行人
* 根据表里面最大zhixing_id每天生成十万任务进行更新
* 终本案件
* 待补充
* 限制高消费
* 待补充
* 失信被执行人
* 根据表中最大ep_id进行生成10万任务进行更新
```
---
# **爬虫**
## 责任人
```buildoutcfg
......@@ -95,7 +108,6 @@ risk_zxgk
## 队列名称及队列地址
<!--redis host port db key 优先级说明-->
-
* redis host: redis://:utn@0818@bdp-mq-001.redis.rds.aliyuncs.com:6379/7
* redis port: 6379
......@@ -106,6 +118,20 @@ risk_zxgk
### 优先级队列说明
* risk_zxgk 支持队列优先级
* 找新任务
* zhixing：risk_zxgk:101
* shixin：risk_zxgk:102
* xianxiao：risk_zxgk:103
* zhongben：risk_zxgk:104
* 存量循环更新任务
* zhixing：risk_zxgk:51
* shixin：risk_zxgk:52
* xianxiao：risk_zxgk:53
* zhongben：risk_zxgk:54
* 补漏及其他任务
* risk_zxgk:60
## 任务来源
......@@ -117,52 +143,70 @@ risk_zxgk
## 任务输入参数（样例）
```json
{
"zhixing_id": "1371041114",
"task_type": "spider_zhixing_task"
}
通过pname查询
通用任务
zhixing
{
"zhixing_id": "1371041114",
"task_type": "spider_zhixing_task"
}
shixin
{
"shixin_id": "1371041114",
"task_type": "spider_shixin_task"
}
xianxiao
{
"xianxiao_id": "1371041114",
"task_type": "spider_xianxiao_task"
}
zhongben
{
"zhongben_id": "1371041114",
"task_type": "spider_zhongben_task"
}
zhixing 通过pname查询
{
"zhixing_id": "",
"task_type": "spider_zhixing_task",
"p_name": "阮芙",
"pname": "阮芙",
"pname_id_task": true
}
```
### 任务样例
<!--注意是爬虫拿到的完整任务，而不仅仅是task_params-->
```buildoutcfg
```
### 任务参数说明
<!--特有参数说明，通用参数比如spider_name,task_params,task_src,task_result等不需说明-->
```json
{
"zhixing_id": "",
"task_type": "spider_zhixing_task",
"p_name": "阮芙",
"pname": "阮芙",
"pname_id_task": true
}
pname_id_task: 这个任务的类型，是否是通过p_name查询
pname_id_task: 这个任务的类型，是否是通过pname查询
```
## data_type说明
<!--可能产生的data_type说明-->
```buildoutcfg
detail: 详情信息 列表,其中每个字典为一条数据
detail: 详情信息 列表,其中每个字典为一条数据,只有这一种类型
```
## 爬虫结果的超级数据
<!--包含所有字段的json数据，每个value都要有样例值-->
```json
{
"data": [
......@@ -189,7 +233,7 @@ detail: 详情信息 列表,其中每个字典为一条数据
"task_params": {
"zhixing_id": "1370997737",
"task_type": "spider_zhixing_task",
"p_name": "徐琰炜",
"pname": "徐琰炜",
"pname_id_task": false
},
"metadata": {},
......@@ -199,11 +243,10 @@ detail: 详情信息 列表,其中每个字典为一条数据
```
## 实际爬虫结果的数据结构
<!--可能与超级数据一致，可能不同的data_type的爬虫结果结构不同，超级数据是把所有data_type的结果组合在一起-->
* 通过zhingxing_id爬取
* zhixing
* 通过zhingxing_id爬取
```json
{
"data": [
......@@ -218,7 +261,25 @@ detail: 详情信息 列表,其中每个字典为一条数据
"cardnum_view": "32048219981****2812",
"sex_name": "男性",
"spider_time": "2021-07-06 19:40:09",
"deleted": 0
"deleted": 0,
"id": 713347040,
"iname": "翟振海",
"caseCode": "（2021）桂0981执400号",
"age": 57,
"sexy": "男性",
"cardNum": "3421291962****761X",
"courtName": "北流市人民法院",
"areaName": "广西",
"partyTypeName": "0",
"gistId": "（2020）桂0981刑初147号",
"regDate": "2021年01月14日",
"gistUnit": "北流市人民法院",
"duty": "（2020）桂0981刑初147号",
"performance": "全部未履行",
"performedPart": "暂无",
"unperformPart": "暂无",
"disruptTypeName": "违反财产报告制度",
"publishDate": "2021年07月06日"
}
],
"http_code": 200,
......@@ -229,54 +290,104 @@ detail: 详情信息 列表,其中每个字典为一条数据
"spider_end_time": "2021-07-06 19:40:09",
"task_params": {
"zhixing_id": "1370997737",
"task_type": "spider_zhixing_task",
"task_type": "spider_zhixing_task"
},
"metadata": {},
"spider_name": "risk_zxgk",
"spider_ip": "10.8.6.51"
}
```
* 通过pname爬取
* 通过pname爬取
```json
{
"data": [
{
"zhixing_id": 1369630353,
"case_code": "(2021)黔0329执1098号",
"pname": "丁一三",
"spider_time": "2021-07-09 15:05:06",
"deleted": 0
},
{
"zhixing_id": 1368029763,
"case_code": "(2021)黔0329执840号",
"pname": "丁一三",
"spider_time": "2021-07-09 15:05:06",
"deleted": 0
}
],
"http_code": 200,
"error_msg": "",
"task_result": 1000,
"data_type": "detail",
"spider_start_time": "2021-07-09 15:05:05.833",
"spider_end_time": "2021-07-09 15:05:06",
"task_params": {
"zhixing_id": "",
"task_type": "spider_zhixing_task",
"pname": "丁一三",
"pname_id_task": true
"data": [
{
"zhixing_id": 1369630353,
"case_code": "(2021)黔0329执1098号",
"pname": "丁一三",
"spider_time": "2021-07-09 15:05:06",
"deleted": 0
},
"metadata": {},
"spider_name": "risk_zxgk",
"spider_ip": "192.168.56.1"
{
"zhixing_id": 1368029763,
"case_code": "(2021)黔0329执840号",
"pname": "丁一三",
"spider_time": "2021-07-09 15:05:06",
"deleted": 0
}
],
"http_code": 200,
"error_msg": "",
"task_result": 1000,
"data_type": "detail",
"spider_start_time": "2021-07-09 15:05:05.833",
"spider_end_time": "2021-07-09 15:05:06",
"task_params": {
"zhixing_id": "",
"task_type": "spider_zhixing_task",
"pname": "丁一三",
"pname_id_task": true
},
"metadata": {},
"spider_name": "risk_zxgk",
"spider_ip": "192.168.56.1"
}
```
## 爬虫运行环境
* shixin
```json
{
"data": [
{
"id": 713347040,
"iname": "翟振海",
"caseCode": "（2021）桂0981执400号",
"age": 57,
"sexy": "男性",
"cardNum": "3421291962****761X",
"courtName": "北流市人民法院",
"areaName": "广西",
"partyTypeName": "0",
"gistId": "（2020）桂0981刑初147号",
"regDate": "2021年01月14日",
"gistUnit": "北流市人民法院",
"duty": "（2020）桂0981刑初147号",
"performance": "全部未履行",
"performedPart": "暂无",
"unperformPart": "暂无",
"disruptTypeName": "违反财产报告制度",
"publishDate": "2021年07月06日"
}
],
"http_code": 200,
"error_msg": "",
"task_result": 1000,
"data_type": "detail",
"spider_start_time": "2021-07-12 14:05:50.961",
"spider_end_time": "2021-07-12 14:05:53",
"task_params": {
"shixin_id": 713347040,
"task_type": "spider_shixin_task"
},
"metadata": {},
"spider_name": "risk_zxgk",
"spider_ip": "192.168.56.1"
}
```
* xianxiao
```json
待补充
```
* zhongben
```json
待补充
```
## 爬虫运行环境
<!--udm模块？scrapy？或其他-->
```buildoutcfg
......@@ -284,11 +395,11 @@ scrapy
```
## 爬虫部署信息
<!--部署在哪些机器？每个机器多少进程？项目名称是什么？-->
```buildoutcfg
机器：node_51
项目名称：gravel_spider
```
## Taskhub地址
......@@ -302,12 +413,12 @@ scrapy
task_result=1000 # 正常获取到详情任务
task_result=1101 # 无结果信息,表示官网查不到这个数据,同样需要解析入库
task_result=9101 # 超时错误，需要进行重试，目前重试5次
task_result=8000 # 参数错误
```
## 爬虫监控指标设计
<!--监控爬虫正常运行的指标是什么？报警规则是什么？-->
```buildoutcfg
......