data_stream/ic/zongju_pc_spider.md

+# **基本信息**
+
+```buildoutcfg
+总局pc爬虫
+zongju_pc_spider,通过scrapy部署
+项目名称：project-ic-spiders
+分支：dev_ic_pc_py3
+```
+
+## 数据名称（中文）
+
+<!-- 该项数据的中文标准名称，后续沟通交流使用的规范名称，如：工商公示股东信息、失信被执行人、一般纳税人等-->
+
+###      
+
+```buildoutcfg
+总局pc公示信息
+```
+
+## 数据英文名称
+
+<!--英文名称，后续流程中所有涉及到英文名称均以此为准，如：partner、shixin、general_taxpayer等-->
+
+```buildoutcfg
+ic_spider_data
+```
+
+## 采集网站（采集入口）
+
+<!--采集的入口地址，不能只是一个网站域名，具体到该网站的数据入口-->
+
+```buildoutcfg
+首页 http://www.gsxt.gov.cn/index.html
+```
+
+## 采集频率及采集策略
+
+<!--说明该项数据更新频率，存量数据的更新频率及策略、新增数据的采集频率及策略-->
+
+### 存量更新策略
+
+<!--无需更新？每天全量更新？逐条轮询更新？多久更新完一轮？或其他-->
+
+```buildoutcfg
+任务包括全量例行和指定任务的更新(高优先级)
+```
+
+### 增量采集策略
+
+<!--新增数据怎么来？无需单独采集新增数据？-->
+
+```buildoutcfg
+无
+```
+
+---
+
+# **爬虫**
+
+```buildoutcfg
+工商信息 zongju_pc_spider
+```
+
+## 责任人
+
+```buildoutcfg
+杨龙斌
+```
+
+## 爬虫名称
+
+```buildoutcfg
+zongju_pc_spider
+```
+
+<!--spider_name-->
+
+## 代码地址
+
+```buildoutcfg
+项目地址:http://tech.pingansec.com/granite/project-ic-spiders/-/blob/dev_ic_pc_py3/scrapy_spiders/gravel_spiders/spiders/ic_pc.py
+```
+
+## 队列名称及队列地址
+
+<!--redis host port db key 优先级说明-->
+-
+
+* redis host: redis://:utn@0818@bdp-mq-001.redis.rds.aliyuncs.com:6379/0
+* redis port: 6379
+* redis db: 0
+* redis key:
+    * zongju_pc_spider
+
+### 优先级队列说明
+
+* 支持队列优先级
+
+## 任务来源
+
+<!--说明爬虫任务的输入。如：来自某个数据库表等。如果来自某个数据库表则应该简要说明该表内的数据是如何维护的。-->
+
+```buildoutcfg
+例行任务
+```
+
+## 任务输入参数（样例）
+
+```json
+{
+  "task_type": "破码",
+  "task_params": {
+    "company_name": "江西花和贸易有限公司",
+    "company_code": "360504210045018",
+    "credit_no": "91360504MA399D7R06",
+    "search_key": "91360504MA399D7R06",
+    "province": "JX",
+    "company_name_digest": "65fb8d2ecdc414ae195ab62a46ff5901",
+    "task_src": 1,
+    "outbound": "zongju_captcha",
+    "routed_count": 1,
+    "submitter": "taskhub",
+    "group_retry_times": 0,
+    "submit_time": "2021-11-12 10:58:42",
+    "token_scope": "*",
+    "retry_limits": 5,
+    "rt": false,
+    "priority": null,
+    "task_uuid": "d791d182-6d14-450b-a3b7-290258b6c79d"
+  },
+  "task_src": 1,
+  "retry_times": 0
+}
+```
+
+### 任务样例
+
+<!--注意是爬虫拿到的完整任务，而不仅仅是task_params-->
+
+```buildoutcfg
+原工商破码任务
+```
+
+### 任务参数说明
+
+<!--特有参数说明，通用参数比如spider_name,task_params,task_src,task_result等不需说明-->
+
+```json
+{
+  "spider_start_time": "2021-11-12 10:58:57.741861",
+  "spider_name": "zongju_pc_spider",
+  "retry_times": null,
+  "data_type": "",
+  "task_params": {
+    "task_type": "破码",
+    "task_src": 1,
+    "retry_times": 0,
+    "task_id": "a9786385-358e-4035-91de-9e4d5d130530",
+    "spider_id": "40f59be7-230e-43a9-a5fe-2a9a4ef24ef6",
+    "compare_id": "acbb6994-c4e2-426d-8199-ed2b217deb19",
+    "company_name": "滨州恩齐建筑工程有限公司",
+    "company_code": "371622200061663",
+    "credit_no": "91371622MA3NYR6L24",
+    "search_key": "91371622MA3NYR6L24",
+    "province": "SD",
+    "company_name_digest": "17bec849b093ed70ca25e7c1ca5f7a01",
+    "outbound": "zongju_captcha",
+    "routed_count": 1,
+    "submitter": "taskhub",
+    "group_retry_times": 0,
+    "submit_time": "2021-10-16 21:07:09",
+    "token_scope": "*",
+    "retry_limits": 2,
+    "rt": false,
+    "priority": null,
+    "task_uuid": "f8765b9f-458f-480c-bb06-99f2e7c78e93",
+    "detail_url": "http://www.gsxt.gov.cn/%7B02F9D7A16AD8767399EF10A24804F43F492D779D2F4B077D53E12A5C38999EE817733F456BD9838692595C4812EDB70548BEF7113C308A444801EF212D2FEA65AC32AC32AC23EA48A400A43AA43AA400A43A980D9331AF209B99E90F604A2ADA7BBA917B37C78877BC5609AB09861803595C481276866C33910F910F910F-1636685431134%7D"
+  },
+  "spider_end_time": "2021-11-12 10:59:35.304394",
+  "urlinfo_item": {
+    "company_url": "",
+    "oper_url": "",
+    "punish_url": "",
+    "illegal_status": 0,
+    "oper_status": 0,
+    "simple_cancel_status": 0
+  },
+  "result_code": "00000111",
+  "companyinfo_item": {
+    "credit_no": "91371622MA3NYR6L24",
+    "company_code": "",
+    "legal_person": "王磊",
+    "authority": "滨州市阳信县市场监督管理局",
+    "establish_date": "2019-01-03",
+    "company_name": "滨州恩齐建筑工程有限公司",
+    "legal_person_caption": "法定代表人",
+    "company_type": "有限责任公司(自然人投资或控股)",
+    "capital": "500.000000万",
+    "issue_date": "2019-01-03",
+    "operation_startdate": "2019-01-03",
+    "operation_enddate": "",
+    "company_status": "在营（开业）企业",
+    "company_address": "山东省滨州市阳信县阳城四路名门现代城16号商铺",
+    "business_scope": "室内外装饰工程、外墙保温工程、钢结构工程、房屋建设工程、园林绿化工程、土石方建设工程、公路路面工程、防水工程承包及施工；建筑建材、石子、沙子、水泥、混凝土、五金建材的批发、销售；铝合金门窗、车库翻版卷帘门、储藏室门的安装销售。（依法须经批准的项目，经相关部门批准后方可开展经营活动）",
+    "capital_unit": "万",
+    "companyinfo_success": 1,
+    "changes": [],
+    "change_size": 0,
+    "change_success": 0,
+    "area_code": 370000,
+    "province": "山东省",
+    "province_code": 1016,
+    "province_short": "SD",
+    "data_status": 1,
+    "data_source": 1,
+    "create_time": "2021-11-12 10:59:35.304440",
+    "lastupdatetime": "2021-11-12 10:59:35.304441",
+    "company_name_digest": "d390039629986ce9d241185de61e18c6"
+  },
+  "task_result": 1000,
+  "mark": ""
+}
+```
+
+## data_type说明
+
+<!--可能产生的data_type说明-->
+
+```buildoutcfg
+detail: 详情信息
+```
+
+## 爬虫结果的超级数据
+
+<!--包含所有字段的json数据，每个value都要有样例值-->
+
+```json
+同上
+```
+
+## 实际爬虫结果的数据结构
+
+<!--可能与超级数据一致，可能不同的data_type的爬虫结果结构不同，超级数据是把所有data_type的结果组合在一起-->
+
+```json
+同上
+```
+
+## 爬虫运行环境
+
+<!--udm模块？scrapy？或其他-->
+
+```buildoutcfg
+scrapy
+```
+
+## 爬虫部署信息
+
+<!--部署在哪些机器？每个机器多少进程？项目名称是什么？-->
+
+```buildoutcfg
+general_taxpayer: 10.8.6.30 100个进程  
+```
+
+## Taskhub地址
+
+```buildoutcfg
+```
+
+## Taskhub调度规则说明
+
+```buildoutcfg
+task_result=1000    # 正常获取到详情任务
+task_result=1101    # 无结果信息
+task_result=9101    # 超时错误，需要进行重试，目前重试5次
+task_result=8000    # 参数错误
+task_result=8004    # 请求到空白链接
+```
+
+## 爬虫监控指标设计
+
+<!--监控爬虫正常运行的指标是什么？报警规则是什么？-->
+
+```buildoutcfg
+(先观察，待补充)
+索引: 
+监控频率: 
+监控起止时间: 
+报警条件: 
+报警群:  
+报警内容: 
+
+```
+
+---
+
+# **数据归集**
+
+## 责任人
+
+```html
+范召贤
+```
+
+## 数据归集方式
+
+- [] 爬虫直接写kafka
+
+- [] 爬虫写文件logstash采集
+
+## 爬虫结果目录
+
+```html
+/data/ic_spider_data/zongju_pc_spider
+```
+
+## 归集后存放目录
+
+```html
+
+```
+
+## logstash配置文件名称
+
+```html
+```
+
+## logstash文件采集type
+
+```html
+
+```
+
+## 数据归集的topic
+
+```
+
+```
+
+## ES日志索引及筛选条件
+
+```
+
+```
+
+## 监控指标看板
+
+## 数据保留策略
+
+---
+
+# **数据清洗**
+
+## 责任人
+
+## 代码地址
+
+## 部署地址
+
+<!--机器及线上代码地址-->
+
+## 部署方法及说明
+
+<!--运行方法及运行命令、supervisor配置、supervisor的program等-->
+
+- [ ] crontab + data_pump
+- [ ] supervisor + data_pump
+- [ ] supervisor + consumer
+
+## 数据接收来源
+
+<!--来源于kafka还是归集的文件、topic的group？-->
+
+## 数据存储表地址
+
+* 数据库地址：
+* 表名：
\ No newline at end of file