data_stream/risk/risk_evaluate.md

@@ -42,7 +42,7 @@ http://zxgk.court.gov.cn/ccpg/index_form_cccz03
 <!--无需更新？每天全量更新？逐条轮询更新？多久更新完一轮？或其他-->
 
 ```buildoutcfg
-
+首次运行爬取全部数据
 
 ```
 
@@ -51,7 +51,7 @@ http://zxgk.court.gov.cn/ccpg/index_form_cccz03
 <!--新增数据怎么来？无需单独采集新增数据？-->
 
 ```buildoutcfg
-
+0 8,10,12,14,16,18,20 各采集一次，每次采集前200页面
 ```
 
 ---
@@ -61,6 +61,7 @@ http://zxgk.court.gov.cn/ccpg/index_form_cccz03
 ## 责任人
 
 ```buildoutcfg
+章一锋
 ```
 
 ## 爬虫名称
@@ -68,21 +69,23 @@ http://zxgk.court.gov.cn/ccpg/index_form_cccz03
 <!--spider_name-->
 
 ```buildoutcfg
+inquiry_spider
 ```
 
 ## 代码地址
 
 ```buildoutcfg
+http://tech.pingansec.com/granite/project-gravel/-/blob/dev_risk_zxgk/scrapy_spiders/gravel_spiders/spiders/inquiry.py
 ```
 
 ## 队列名称及队列地址
 
 <!--redis host port db key 优先级说明-->
 
-* redis host: 
+* redis host: bdp-mq-002.redis.rds.aliyuncs.com
 * redis port: 6379
-* redis db: 
-* redis key:
+* redis db: 7
+* redis key: inquiry
     
 
 
@@ -91,6 +94,12 @@ http://zxgk.court.gov.cn/ccpg/index_form_cccz03
 <!--说明爬虫任务的输入。如：来自某个数据库表等。如果来自某个数据库表则应该简要说明该表内的数据是如何维护的。-->
 
 ```buildoutcfg
+udm模块产生
+data_pump地址：http://tech.pingansec.com/granite/project-gravel/-/blob/dev_risk_zxgk/app_risk_zxgk/data_pump/inquiry_task_committer.yml
+任务提交代码部署地址：10.8.6.63
+代码执行方式：crontab定时运行
+crontab配置：0 8,10,12,14,16,18,20 * * * /home/collie/.conda/envs/collie/bin/python  /home/collie/product/app_risk_zxgk/jobs/data_pump/data_pump.py pump-data -c /home/collie/product/app_risk_zxgk/data_pump/inquiry_task_committer.yml --default_config find_new
+
 ```
 
 ## 任务输入参数（样例）
@@ -103,6 +112,8 @@ http://zxgk.court.gov.cn/ccpg/index_form_cccz03
 <!--注意是爬虫拿到的完整任务，而不仅仅是task_params-->
 
 ```buildoutcfg
+{'cclx_root': 'ZX0157-6', 'task_type': 'evaluation_list', 'limit_page': '200'}
+{'cclx_root': 'ZX0157-6', 'task_type': 'entrustment_list', 'limit_page': '200'}
 ```
 
 ### 任务参数说明
@@ -110,6 +121,11 @@ http://zxgk.court.gov.cn/ccpg/index_form_cccz03
 <!--特有参数说明-->
 
 ```json
+{
+    'cclx_root': 'ZX0157-6',           # 数据类别：房产、交通运输工具
+    'task_type': 'entrustment_list',   # 任务类型 entrustment_list（评估机构）、evaluation_list（评估结果）
+    'limit_page': '200'                # 爬取的页数
+}
 ```
 
 
@@ -120,6 +136,25 @@ http://zxgk.court.gov.cn/ccpg/index_form_cccz03
 
 
 ```json
+{
+  "secondaryClassificationName": "土地使用权",
+  "ownerName": "",
+  "caseCode": "",
+  "url": "e6d348c687354c03beae4f454434d785.pdf",
+  "jsonObject": "{\"caseNumber\":\"（2022）黑0833执恢186号\",\"courtName\":\"抚远市人民法院\",\"assType\":\"3\",\"url\":\"e6d348c687354c03beae4f454434d785.pdf\",\"subjectname\":\"黑龙江省佳木斯市抚远市东方红村10.53公顷土地\",\"primaryClassificationName\":\"土地使用权\",\"secondaryClassificationName\":\"土地使用权\"}",
+  "secondaryClassificationCode": "",
+  "IDNumber": "",
+  "propertyType": "",
+  "bzxrName": "王晓伟",
+  "assType": "3",
+  "primaryClassificationName": "土地使用权",
+  "courtName": "抚远市人民法院",
+  "caseNumber": "（2022）黑0833执恢186号",
+  "courtCode": "",
+  "primaryClassificationCode": "",
+  "subjectname": "黑龙江省佳木斯市抚远市东方红村10.53公顷土地",
+  "unique_id": "96c9f768eb6ae43d09f773a135621814"
+}
 ```
 
 
@@ -128,7 +163,7 @@ http://zxgk.court.gov.cn/ccpg/index_form_cccz03
 <!--udm模块？scrapy？或其他-->
 
 ```buildoutcfg
-
+scrapy
 ```
 
 ## 爬虫部署信息
@@ -136,16 +171,26 @@ http://zxgk.court.gov.cn/ccpg/index_form_cccz03
 <!--部署在哪些机器？每个机器多少进程？项目名称是什么？-->
 
 ```buildoutcfg
+服务器地址：10.8.6.19
+进程数：20
 ```
 
 ## Taskhub地址
 
 ```buildoutcfg
+http://tech.pingansec.com/granite/project-taskhub/-/blob/master/taskhub/config/gravel/config.d/risk_zxgk.yml
 ```
 
 ## Taskhub调度规则说明
 
 ```buildoutcfg
+task_result=1000    # 正常获取到详情任务
+task_result=1101    # 无结果信息,表示官网查不到这个数据,同样需要解析入库
+
+
+task_result=9101    # 超时错误，需要进行重试，目前重试5次
+task_result=8000    # 参数错误
+spider_name=='inquiry_spider' and data_type!='log'  重试
 ```
 
 ## 爬虫监控指标设计
@@ -163,14 +208,13 @@ http://zxgk.court.gov.cn/ccpg/index_form_cccz03
 ## 责任人
 
 ```html
-
 ```
 
 ## 数据归集方式
 
 - [ ] 爬虫直接写kafka
 
-- [ ] 爬虫写文件logstash采集
+- [1] 爬虫写文件logstash采集
 
 ## 爬虫结果目录
 
@@ -180,6 +224,7 @@ http://zxgk.court.gov.cn/ccpg/index_form_cccz03
 ## 归集后存放目录
 
 ```html
+/data/227/data2/gravel_spider_result/inquiry_spider
 ```
 
 ## logstash配置文件名称
@@ -213,6 +258,7 @@ http://zxgk.court.gov.cn/ccpg/index_form_cccz03
 ## 责任人
 
 ```
+章一锋（清洗入原始表）
 刘治强
 ```
 ## 部署地址
@@ -220,6 +266,10 @@ http://zxgk.court.gov.cn/ccpg/index_form_cccz03
 <!--机器及线上代码地址-->
 
 ```angular2html
+机器：10.8.6.77
+crontab：*/3 * * * * /home/collie/.conda/envs/collie/bin/python /home/collie/product/app_risk_zxgk/jobs/data_pump/data_pump.py pump-data  --config /home/collie/product/app_risk_zxgk/data_pump/clean.yml
+代码地址：http://tech.pingansec.com/granite/project-gravel/-/blob/dev_risk_zxgk/app_risk_zxgk/data_pump/clean.yml
+
 机器：10.8.6.18
 代码地址：http://tech.pingansec.com/granite/project-collie-app/-/blob/master/app_risk/data_pump/risk_evaluate.yml
 ```