Skip to content

GitLab

hub · Changes

Page history
Create data_stream/ic_icpsp/hub authored by 郭本江's avatar 郭本江
Hide whitespace changes
Inline Side-by-side
Showing with 374 additions and 0 deletions
data_stream/ic_icpsp/hub.md 0 → 100644
View page @ 7afccb8e
# **基本信息**
```buildoutcfg
一般纳税人--上海
general_etax_reqs/sh 通过详情url的id遍历搜索
sh_verify_code/sh 通过破解验证码根据三要素搜索
```
## 数据名称（中文）
<!-- 该项数据的中文标准名称，后续沟通交流使用的规范名称，如：工商公示股东信息、失信被执行人、一般纳税人等-->
###
```buildoutcfg
上海--一般纳税人
```
## 数据英文名称
<!--英文名称，后续流程中所有涉及到英文名称均以此为准，如：partner、shixin、general_taxpayer等-->
```buildoutcfg
general_taxpayer
```
## 采集网站（采集入口）
<!--采集的入口地址，不能只是一个网站域名，具体到该网站的数据入口-->
```buildoutcfg
官网PC端入口:
http://shanghai.chinatax.gov.cn/newxbwz/wzfw/YhscxCtrl-yhsCx.pfv
```
## 采集频率及采集策略
<!--说明该项数据更新频率，存量数据的更新频率及策略、新增数据的采集频率及策略-->
### 存量更新策略
<!--无需更新？每天全量更新？逐条轮询更新？多久更新完一轮？或其他-->
```buildoutcfg
db_host: bdp-rds-003.mysql.rds.aliyuncs.com
db_name: utn_ng_biz_info
db_user: shuidi
db_password:
全省的主体信息作为搜索条件
逐条更新
目前每年更新一轮即可。可以根据全量数据的爬取情况，再通过补充详情id顺序号的方式，补充其它主体信息
```
### 增量采集策略
<!--新增数据怎么来？无需单独采集新增数据？-->
```buildoutcfg
1.新成立的主体
2.补充的主体
3.通过已有爬取数据的详情url，分析详情url中的id顺序号，再补充
```
---
# **爬虫**
```buildoutcfg
上海--一般纳税人 gravel_spiders
```
## 责任人
```buildoutcfg
郭本江
```
## 爬虫名称
```buildoutcfg
gravel_spiders
```
<!--spider_name-->
## 代码地址
```buildoutcfg
项目地址:http://192.168.109.199/granite/project-gravel/tree/develop_app_10jqka_20210121/scrapy_spiders/gravel_spiders/spiders/general_etax_reqs/sh
百度移动端:
破码版本: http://192.168.109.199/granite/project-gravel/blob/develop_app_10jqka_20210121/scrapy_spiders/gravel_spiders/spiders/general_etax_reqs/sh_verify_code
遍历详情url顺序号版本: http://192.168.109.199/granite/project-gravel/blob/develop_app_10jqka_20210121/scrapy_spiders/gravel_spiders/spiders/general_etax_reqs/sh/sh_etax_detail.py
```
## 队列名称及队列地址
<!--redis host port db key 优先级说明-->
-
* redis host: redis://:utn@0818@bdp-mq-001.redis.rds.aliyuncs.com:6379/7
* redis port: 6379
* redis db: 7
* redis key:
* general_taxpayer
### 优先级队列说明
* general_taxpayer 支持队列优先级
## 任务来源
<!--说明爬虫任务的输入。如：来自某个数据库表等。如果来自某个数据库表则应该简要说明该表内的数据是如何维护的。-->
```buildoutcfg
taskhub 上海的全量主体信息
```
## 任务输入参数（样例）
```json
破码版本
{
"company_name": "上海翔星建设工程有限公司",
"company_code": "",
"credit_no": "",
"province": "SH",
"company_name_digest": "c139fb8844006aa87dbe5f4d90473c57",
"district_code": ""
}
顺序号版本
{"province":"SH", "credit_no":"", "company_code":"", "company_name":"", "djxh":"10013101001000048329"}
```
### 任务样例
<!--注意是爬虫拿到的完整任务，而不仅仅是task_params-->
```buildoutcfg
{
"data": {
"taxinfo_items": [
{
"tax_code": "",
"company_name": "李关金",
"company_type": "内资个体",
"legal_person": "李关金",
"register_address": "",
"bussiness_address": "",
"tax_authority": "国家税务总局上海市黄浦区税务局第四税务所",
"tax_status": "注销",
"tax_type": "按征收率征收增值税小规模纳税人",
"register_date": "",
"detail_url": "http://shanghai.chinatax.gov.cn/newxbwz/wzfw/YhscxCtrl-yhscxXx.pfv?djxh=10013101001010040630"
}
]
},
"http_code": 200,
"error_msg": "",
"task_result": 1000,
"data_type": "detail",
"spider_start_time": "2021-03-20 04:04:44.464",
"spider_end_time": "2021-03-20 04:04:44",
"task_params": {
"province": "SH",
"credit_no": "",
"company_code": "",
"company_name": "",
"djxh": "10013101001010040630"
},
"metadata": {},
"spider_name": "general_taxpayer",
"spider_ip": "10.8.6.56"
}```
### 任务参数说明
<!--特有参数说明，通用参数比如spider_name,task_params,task_src,task_result等不需说明-->
```json
破码版本
{
"company_name": "上海翔星建设工程有限公司",
"company_code": "",
"credit_no": "",
"province": "SH",
"company_name_digest": "c139fb8844006aa87dbe5f4d90473c57",
"district_code": ""
}
顺序号版本
{
"province": "SH",
"credit_no": "",
"company_code": "",
"company_name": "",
"djxh": "10013101001000048329" --详情url的顺序号
}
```
## data_type说明
<!--可能产生的data_type说明-->
```buildoutcfg
detail: 详情信息
```
## 爬虫结果的超级数据
<!--包含所有字段的json数据，每个value都要有样例值-->
```buildoutcfg
{
"data": {
"taxinfo_items": [
{
"tax_code": "91310101703102855L", -- 纳税人识别号（统一社会信用代码）
"company_name": "上海东安国际旅行社有限公司", -- 纳税人名称
"company_type": "私营有限责任公司", -- 登记注册类型
"legal_person": "张锡华", -- 法定代表人
"register_address": "上海市黄浦区淮海东路99号714-715室", -- 注册地址
"bussiness_address": "上海市黄浦区淮海东路99号714-715室", -- 生产经营地址
"tax_authority": "国家税务总局上海市黄浦区税务局第十三税务所", -- 主管税务机关
"tax_status": "正常", -- 纳税人税务登记状态
"tax_type": "增值税一般纳税人", -- 一般纳税人资格状态
"register_date": "2016-10-26", -- 一般纳税人资格登记时间
"detail_url": "http://shanghai.chinatax.gov.cn/newxbwz/wzfw/YhscxCtrl-yhscxXx.pfv?djxh=10013101001010040675" -- 详情url链接
}
]
},
"http_code": 200,
"error_msg": "",
"task_result": 1000,
"data_type": "detail",
"spider_start_time": "2021-03-20 04:04:40.008",
"spider_end_time": "2021-03-20 04:04:40",
"task_params": {
"province": "SH",
"credit_no": "",
"company_code": "",
"company_name": "",
"djxh": "10013101001010040675"
},
"metadata": {},
"spider_name": "general_taxpayer",
"spider_ip": "10.8.6.56"
}
```
## 实际爬虫结果的数据结构
<!--可能与超级数据一致，可能不同的data_type的爬虫结果结构不同，超级数据是把所有data_type的结果组合在一起-->
```buildoutcfg
{
"data": {
"taxinfo_items": [
{
"tax_code": "91310101703102855L", -- 纳税人识别号（统一社会信用代码）
"company_name": "上海东安国际旅行社有限公司", -- 纳税人名称
"company_type": "私营有限责任公司", -- 登记注册类型
"legal_person": "张锡华", -- 法定代表人
"register_address": "上海市黄浦区淮海东路99号714-715室", -- 注册地址
"bussiness_address": "上海市黄浦区淮海东路99号714-715室", -- 生产经营地址
"tax_authority": "国家税务总局上海市黄浦区税务局第十三税务所", -- 主管税务机关
"tax_status": "正常", -- 纳税人税务登记状态
"tax_type": "增值税一般纳税人", -- 一般纳税人资格状态
"register_date": "2016-10-26", -- 一般纳税人资格登记时间
"detail_url": "http://shanghai.chinatax.gov.cn/newxbwz/wzfw/YhscxCtrl-yhscxXx.pfv?djxh=10013101001010040675" -- 详情url链接
}
]
},
"http_code": 200,
"error_msg": "",
"task_result": 1000,
"data_type": "detail",
"spider_start_time": "2021-03-20 04:04:40.008",
"spider_end_time": "2021-03-20 04:04:40",
"task_params": {
"province": "SH",
"credit_no": "",
"company_code": "",
"company_name": "",
"djxh": "10013101001010040675"
},
"metadata": {},
"spider_name": "general_taxpayer",
"spider_ip": "10.8.6.56"
}
```
## 爬虫运行环境
<!--udm模块？scrapy？或其他-->
```buildoutcfg
scrapy
```
## 爬虫部署信息
<!--部署在哪些机器？每个机器多少进程？项目名称是什么？-->
```buildoutcfg
gravel_spiders: 10.8.6.56 5个进程
```
## Taskhub地址
```buildoutcfg
提交任务地址: http://10.8.6.222:18518/task/
代码编写地址: http://192.168.109.199/granite/project-gravel/blob/develop_app_10jqka_20210121/app_general_taxpayer/data_pump/general_taxpayer.yml
```
## Taskhub调度规则说明
```buildoutcfg
task_result=1000 # 正常获取到详情任务
task_result=1101 # 无结果信息
task_result=9101 # 超时错误，需要进行重试，目前重试5次
task_result=8000 # 参数错误
```
## 爬虫监控指标设计
<!--监控爬虫正常运行的指标是什么？报警规则是什么？-->
```buildoutcfg
(先观察，待补充)
索引:
监控频率:
监控起止时间:
报警条件:
报警群:
报警内容:
```
---
# **数据归集**
## 责任人
## 数据归集方式
- [ ] 爬虫直接写kafka
- [x] 爬虫写文件logstash采集
## 爬虫结果目录
## 归集后存放目录
## logstash配置文件名称
## logstash文件采集type
## 数据归集的topic
## ES日志索引及筛选条件
## 监控指标看板
## 数据保留策略
---
# **数据清洗**
## 责任人
## 代码地址
## 部署地址
<!--机器及线上代码地址-->
## 部署方法及说明
<!--运行方法及运行命令、supervisor配置、supervisor的program等-->
- [ ] crontab + data_pump
- [ ] supervisor + data_pump
- [ ] supervisor + consumer
## 数据接收来源
<!--来源于kafka还是归集的文件、topic的group？-->
## 数据存储表地址
* 数据库地址：
* 表名：
\ No newline at end of file