Skip to content

GitLab

Last edited by 郭本江
Page history

ah

基本信息 

工商.亮照服务--安徽
ic_icpsp_req/ah 通过提交任务参数中的credit_no,company_code,company_name的优先级进行查询。
1.先通过搜索关键词获得搜索列表，
2.通过列表中的详情链接获得pdf文件。（此pdf文件有做文件存储，单个pdf大概200K）
3.将pdf转换成图片。（图片识别之后会做删除，单个图片大概2M大小）
4.识别图片中的二维码内容
5.根据二维码中识别的内容获得联系方式等信息。

注:需要安装的模块:
    PyMuPDF==1.16.14
    fitz
    pyzbar
    pillow

数据名称（中文）

安徽--工商.亮照服务

数据英文名称

ic_icpsp

采集网站（采集入口）

官网PC端入口:
http://218.22.14.70:7700/ICPSP/queryEnt.action

采集文件存放路径：
/data/gravel_spiders/ic_icpsp_spider

采集频率及采集策略

存量更新策略

db_host: bdp-rds-007.mysql.rds.aliyuncs.com
db_name: utn_ic
db_user: shuidi
db_password: 
数据库表名:tb_search_company_icpsp
全省的主体信息作为搜索条件
逐条更新
目前全量更新一轮即可.

增量采集策略

1.新成立的主体
2.补充的主体

爬虫 

安徽--工商.亮照服务 ic_icpsp_spiders

责任人

郭本江

爬虫名称

ic_icpsp_spider

代码地址

项目地址:http://192.168.109.110/granite/project-gravel/-/tree/develop_ic_icpsp/scrapy_spiders/gravel_spiders/spiders/ic_icpsp_reqs/ah

队列名称及队列地址

优先级队列说明

  • ic_icpsp_keys 支持队列优先级

任务来源

taskhub 安徽的全量主体信息

任务输入参数（样例） 其中credit_no、province、company_name、company_code为必需

破码版本
{
    "province": "AH",
    "credit_no": "91340103MA8LJ0RT3E",
    "company_code": "340103000362169",
    "company_name": "安徽震风润丁网络科技有限公司"
}

任务样例


{
	"data": {
		"icpsp_items": [
			{
				"search_keyword": "91340103MA8LJ0RT3E",
				"province": "AH",
				"company_name": "安徽震风润丁网络科技有限公司",
				"credit_no": "91340103MA8LJ0RT3E",
				"legal_person": "蒯胜军",
				"establish_date": "2021-05-17",
				"data_id": "400000104312643918",
				"detail_url": "http://218.22.14.66:8082/yzt/toHandleQuery.do?id=ZWFnbG9xcnBzdXJvd2l1aW5p&uniScID=amJqcG9ycXNeVXlbXWdAI292&jumpFlag=false",
				"company_code": "340103000362169",
				"company_status": "06",
				"company_type_code": "1100",
				"company_type": "有限责任公司",
				"capital": 500,
				"company_address": "安徽省合肥市庐阳区庐阳区淝河东街2号城市公馆B地块商业1幢509室",
				"company_tel": "18367275648",
				"company_phone": "18326096382"
			}
		]
	},
	"http_code": 200,
	"error_msg": "",
	"task_result": 1000,
	"data_type": "detail",
	"spider_start_time": "2021-05-20 17:51:15.554",
	"spider_end_time": "2021-05-20 17:51:15",
	"task_params": {
		"province": "AH",
		"credit_no": "91340103MA8LJ0RT3E",
		"company_code": "340103000362169",
		"company_name": "安徽震风润丁网络科技有限公司"
	},
	"metadata": {},
	"spider_name": "ic_icpsp_spider",
	"spider_ip": "10.8.6.56"
}

## 实际爬虫结果的数据结构
<!--可能与超级数据一致，可能不同的data_type的爬虫结果结构不同，超级数据是把所有data_type的结果组合在一起-->
```buildoutcfg
{
    "data": {
	"icpsp_items": [
		{
			"search_keyword": "91340103MA8LJ0RT3E",
			"province": "AH",
			"company_name": "安徽震风润丁网络科技有限公司",
			"credit_no": "91340103MA8LJ0RT3E",
			"legal_person": "蒯胜军",
			"establish_date": "2021-05-17",
			"data_id": "400000104312643918",
			"detail_url": "http://218.22.14.66:8082/yzt/toHandleQuery.do?id=ZWFnbG9xcnBzdXJvd2l1aW5p&uniScID=amJqcG9ycXNeVXlbXWdAI292&jumpFlag=false",
			"company_code": "340103000362169",
			"company_status": "06",
			"company_type_code": "1100",
			"company_type": "有限责任公司",
			"capital": 500,
			"company_address": "安徽省合肥市庐阳区庐阳区淝河东街2号城市公馆B地块商业1幢509室",
			"company_tel": "18367275648",
			"company_phone": "18326096382"
		}
	]
},
"http_code": 200,
"error_msg": "",
"task_result": 1000,
"data_type": "detail",
"spider_start_time": "2021-05-20 17:51:15.554",
"spider_end_time": "2021-05-20 17:51:15",
"task_params": {
	"province": "AH",
	"credit_no": "91340103MA8LJ0RT3E",
	"company_code": "340103000362169",
	"company_name": "安徽震风润丁网络科技有限公司"
},
"metadata": {},
"spider_name": "ic_icpsp_spider",
"spider_ip": "10.8.6.56"}

爬虫运行环境

scrapy

爬虫部署信息

ic_icpsp_spiders: 10.8.6.51 35个进程

Taskhub地址

提交任务地址: http://10.8.6.222:18518/task/
代码编写地址: http://192.168.109.110/granite/project-gravel/blob/develop_app_10jqka_20210121/app_general_taxpayer/data_pump/general_taxpayer.yml

Taskhub调度规则说明

task_result=1000    # 正常获取到详情任务
task_result=1101    # 无结果信息
task_result=9101    # 超时错误，需要进行重试，目前重试5次
task_result=8000    # 参数错误

爬虫监控指标设计

(先观察，待补充)
索引: 
监控频率: 
监控起止时间: 
报警条件: 
报警群:  
报警内容:

数据归集

责任人

数据归集方式

  • 爬虫直接写kafka

  • 爬虫写文件logstash采集

爬虫结果目录

归集后存放目录

logstash配置文件名称

logstash文件采集type

数据归集的topic

ES日志索引及筛选条件

监控指标看板

数据保留策略

数据清洗

责任人

代码地址

部署地址

部署方法及说明

  • crontab + data_pump
  • supervisor + data_pump
  • supervisor + consumer

数据接收来源

数据存储表地址

  • 数据库地址：
  • 表名：