Skip to content

GitLab

ah · Changes

Page history
Create data_stream/ic_icpsp/ah authored by 郭本江's avatar 郭本江
Hide whitespace changes
Inline Side-by-side
Showing with 315 additions and 0 deletions
data_stream/ic_icpsp/ah.md 0 → 100644
View page @ c1f65ec2
# **基本信息**
```buildoutcfg
工商.亮照服务--安徽
ic_icpsp_req/ah 通过提交任务参数中的credit_no,company_code,company_name的优先级进行查询。
1.先通过搜索关键词获得搜索列表，
2.通过列表中的详情链接获得pdf文件。（此pdf文件有做文件存储，单个pdf大概200K）
3.将pdf转换成图片。（图片识别之后会做删除，单个图片大概2M大小）
4.识别图片中的二维码内容
5.根据二维码中识别的内容获得联系方式等信息。
注:需要安装的模块:
PyMuPDF==1.16.14
fitz
pyzbar
pillow
```
## 数据名称（中文）
<!-- 该项数据的中文标准名称，后续沟通交流使用的规范名称，如：工商公示股东信息、失信被执行人、一般纳税人等-->
###
```buildoutcfg
安徽--工商.亮照服务
```
## 数据英文名称
<!--英文名称，后续流程中所有涉及到英文名称均以此为准，如：partner、shixin、general_taxpayer等-->
```buildoutcfg
ic_icpsp
```
## 采集网站（采集入口）
<!--采集的入口地址，不能只是一个网站域名，具体到该网站的数据入口-->
```buildoutcfg
官网PC端入口:
http://218.22.14.70:7700/ICPSP/queryEnt.action
```
## 采集频率及采集策略
<!--说明该项数据更新频率，存量数据的更新频率及策略、新增数据的采集频率及策略-->
### 存量更新策略
<!--无需更新？每天全量更新？逐条轮询更新？多久更新完一轮？或其他-->
```buildoutcfg
db_host: bdp-rds-007.mysql.rds.aliyuncs.com
db_name: utn_ic
db_user: shuidi
db_password:
数据库表名:tb_search_company_icpsp
全省的主体信息作为搜索条件
逐条更新
目前全量更新一轮即可.
```
### 增量采集策略
<!--新增数据怎么来？无需单独采集新增数据？-->
```buildoutcfg
1.新成立的主体
2.补充的主体
```
---
# **爬虫**
```buildoutcfg
安徽--工商.亮照服务 ic_icpsp_spiders
```
## 责任人
```buildoutcfg
郭本江
```
## 爬虫名称
```buildoutcfg
ic_icpsp_spider
```
<!--spider_name-->
## 代码地址
```buildoutcfg
项目地址:http://192.168.109.110/granite/project-gravel/-/tree/develop_ic_icpsp/scrapy_spiders/gravel_spiders/spiders/ic_icpsp_reqs/ah
```
## 队列名称及队列地址
<!--redis host port db key 优先级说明-->
-
* redis host: redis://:utn@0818@bdp-mq-001.redis.rds.aliyuncs.com:6379/7
* redis port: 6379
* redis db: 7
* redis key:
* ic_icpsp_keys
### 优先级队列说明
* ic_icpsp_keys 支持队列优先级
## 任务来源
<!--说明爬虫任务的输入。如：来自某个数据库表等。如果来自某个数据库表则应该简要说明该表内的数据是如何维护的。-->
```buildoutcfg
taskhub 安徽的全量主体信息
```
## 任务输入参数（样例） 其中credit_no、province、company_name、company_code为必需
```json
破码版本
{
"province": "AH",
"credit_no": "91340103MA8LJ0RT3E",
"company_code": "340103000362169",
"company_name": "安徽震风润丁网络科技有限公司"
}
```
### 任务样例
<!--注意是爬虫拿到的完整任务，而不仅仅是task_params-->
```buildoutcfg
{
"data": {
"icpsp_items": [
{
"search_keyword": "91340103MA8LJ0RT3E",
"province": "AH",
"company_name": "安徽震风润丁网络科技有限公司",
"credit_no": "91340103MA8LJ0RT3E",
"legal_person": "蒯胜军",
"establish_date": "2021-05-17",
"data_id": "400000104312643918",
"detail_url": "http://218.22.14.66:8082/yzt/toHandleQuery.do?id=ZWFnbG9xcnBzdXJvd2l1aW5p&uniScID=amJqcG9ycXNeVXlbXWdAI292&jumpFlag=false",
"company_code": "340103000362169",
"company_status": "06",
"company_type_code": "1100",
"company_type": "有限责任公司",
"capital": 500,
"company_address": "安徽省合肥市庐阳区庐阳区淝河东街2号城市公馆B地块商业1幢509室",
"company_tel": "18367275648",
"company_phone": "18326096382"
}
]
},
"http_code": 200,
"error_msg": "",
"task_result": 1000,
"data_type": "detail",
"spider_start_time": "2021-05-20 17:51:15.554",
"spider_end_time": "2021-05-20 17:51:15",
"task_params": {
"province": "AH",
"credit_no": "91340103MA8LJ0RT3E",
"company_code": "340103000362169",
"company_name": "安徽震风润丁网络科技有限公司"
},
"metadata": {},
"spider_name": "ic_icpsp_spider",
"spider_ip": "10.8.6.56"
}
## 实际爬虫结果的数据结构
<!--可能与超级数据一致，可能不同的data_type的爬虫结果结构不同，超级数据是把所有data_type的结果组合在一起-->
```buildoutcfg
{
"data": {
"icpsp_items": [
{
"search_keyword": "91340103MA8LJ0RT3E",
"province": "AH",
"company_name": "安徽震风润丁网络科技有限公司",
"credit_no": "91340103MA8LJ0RT3E",
"legal_person": "蒯胜军",
"establish_date": "2021-05-17",
"data_id": "400000104312643918",
"detail_url": "http://218.22.14.66:8082/yzt/toHandleQuery.do?id=ZWFnbG9xcnBzdXJvd2l1aW5p&uniScID=amJqcG9ycXNeVXlbXWdAI292&jumpFlag=false",
"company_code": "340103000362169",
"company_status": "06",
"company_type_code": "1100",
"company_type": "有限责任公司",
"capital": 500,
"company_address": "安徽省合肥市庐阳区庐阳区淝河东街2号城市公馆B地块商业1幢509室",
"company_tel": "18367275648",
"company_phone": "18326096382"
}
]
},
"http_code": 200,
"error_msg": "",
"task_result": 1000,
"data_type": "detail",
"spider_start_time": "2021-05-20 17:51:15.554",
"spider_end_time": "2021-05-20 17:51:15",
"task_params": {
"province": "AH",
"credit_no": "91340103MA8LJ0RT3E",
"company_code": "340103000362169",
"company_name": "安徽震风润丁网络科技有限公司"
},
"metadata": {},
"spider_name": "ic_icpsp_spider",
"spider_ip": "10.8.6.56"}
```
## 爬虫运行环境
<!--udm模块？scrapy？或其他-->
```buildoutcfg
scrapy
```
## 爬虫部署信息
<!--部署在哪些机器？每个机器多少进程？项目名称是什么？-->
```buildoutcfg
ic_icpsp_spiders: 10.8.6.51 35个进程
```
## Taskhub地址
```buildoutcfg
提交任务地址: http://10.8.6.222:18518/task/
代码编写地址: http://192.168.109.110/granite/project-gravel/blob/develop_app_10jqka_20210121/app_general_taxpayer/data_pump/general_taxpayer.yml
```
## Taskhub调度规则说明
```buildoutcfg
task_result=1000 # 正常获取到详情任务
task_result=1101 # 无结果信息
task_result=9101 # 超时错误，需要进行重试，目前重试5次
task_result=8000 # 参数错误
```
## 爬虫监控指标设计
<!--监控爬虫正常运行的指标是什么？报警规则是什么？-->
```buildoutcfg
(先观察，待补充)
索引:
监控频率:
监控起止时间:
报警条件:
报警群:
报警内容:
```
---
# **数据归集**
## 责任人
## 数据归集方式
- [ ] 爬虫直接写kafka
- [x] 爬虫写文件logstash采集
## 爬虫结果目录
## 归集后存放目录
## logstash配置文件名称
## logstash文件采集type
## 数据归集的topic
## ES日志索引及筛选条件
## 监控指标看板
## 数据保留策略
---
# **数据清洗**
## 责任人
## 代码地址
## 部署地址
<!--机器及线上代码地址-->
## 部署方法及说明
<!--运行方法及运行命令、supervisor配置、supervisor的program等-->
- [ ] crontab + data_pump
- [ ] supervisor + data_pump
- [ ] supervisor + consumer
## 数据接收来源
<!--来源于kafka还是归集的文件、topic的group？-->
## 数据存储表地址
* 数据库地址：
* 表名：
\ No newline at end of file