Skip to content

GitLab

Last edited by 郭本江
Page history

hain

基本信息 

工商.亮照服务--海南
ic_icpsp_req/hain 通过提交任务参数中的credit_no,company_code,company_name的优先级进行查询。
1.先通过搜索关键词获得搜索列表，
2.通过列表中的详情链接获得pdf文件。（此pdf文件有做文件存储，单个pdf大概200K）
3.将pdf转换成图片。（图片识别之后会做删除，单个图片大概2M大小）
4.识别图片中的二维码内容
5.根据二维码中识别的内容获得联系方式等信息。

注:需要安装的模块:
    PyMuPDF==1.16.14
    fitz
    pyzbar
    pillow

数据名称（中文）

海南--工商.亮照服务

数据英文名称

ic_icpsp

采集网站（采集入口）

官网PC端入口:
https://e-register.amr.hainan.gov.cn/ICPSP/queryEnt.action
采集文件存放路径：
/data/gravel_spiders/ic_icpsp_spider

采集频率及采集策略

存量更新策略

db_host: bdp-rds-007.mysql.rds.aliyuncs.com
db_name: utn_ic
db_user: shuidi
db_password: 
数据库表名:tb_search_company_icpsp
全省的主体信息作为搜索条件
逐条更新
目前全量更新一轮即可.

增量采集策略

1.新成立的主体
2.补充的主体

爬虫 

海南--工商.亮照服务 ic_icpsp_spiders

责任人

郭本江

爬虫名称

ic_icpsp_spider

代码地址

项目地址:http://192.168.109.110/granite/project-gravel/-/tree/develop_ic_icpsp/scrapy_spiders/gravel_spiders/spiders/ic_icpsp_reqs/hain

队列名称及队列地址

优先级队列说明

  • ic_icpsp_keys 支持队列优先级

任务来源

taskhub 海南的全量主体信息

任务输入参数（样例） 其中credit_no、province、company_name、company_code为必需

破码版本
{
	"province": "HAIN",
	"credit_no": "92460000MA5U0KGBX5",
	"company_code": "460000605236009",
	"company_name": "海口龙华区丁妍智百货店"
}

任务样例


{
	"data": {
		"icpsp_items": [
			{
				"search_keyword": "92460000MA5U0KGBX5",
				"province": "HAIN",
				"company_name": "海口龙华区丁妍智百货店",
				"credit_no": "92460000MA5U0KGBX5",
				"legal_person": "谈志坚",
				"establish_date": "2021-05-18",
				"data_id": "141000029771715545",
				"detail_url": "http://218.77.183.36:8079/yzt/toHandleQuery.do?id=YmVobG9xcXJ4eXhud3B2Z3Rl&uniScID=amNrcm9xcXBeVXZGcVRZc0pm&jumpFlag=false",
				"company_code": "460000605236009",
				"company_status": "06",
				"company_type_code": "9600",
				"company_type": "个体工商户",
				"capital": 5,
				"company_address": "海南省海口市龙华区新坡镇新和街254号201",
				"company_tel": "13549459202",
				"company_phone": "13549459202"
			}
		]
	},
	"http_code": 200,
	"error_msg": "",
	"task_result": 1000,
	"data_type": "detail",
	"spider_start_time": "2021-05-20 19:19:36.043",
	"spider_end_time": "2021-05-20 19:19:36",
	"task_params": {
		"province": "HAIN",
		"credit_no": "92460000MA5U0KGBX5",
		"company_code": "460000605236009",
		"company_name": "海口龙华区丁妍智百货店"
	},
	"metadata": {},
	"spider_name": "ic_icpsp_spider",
	"spider_ip": "10.8.0.30"
}

## 实际爬虫结果的数据结构
<!--可能与超级数据一致，可能不同的data_type的爬虫结果结构不同，超级数据是把所有data_type的结果组合在一起-->
```buildoutcfg
{
	"data": {
		"icpsp_items": [
			{
				"search_keyword": "92460000MA5U0KGBX5",
				"province": "HAIN",
				"company_name": "海口龙华区丁妍智百货店",
				"credit_no": "92460000MA5U0KGBX5",
				"legal_person": "谈志坚",
				"establish_date": "2021-05-18",
				"data_id": "141000029771715545",
				"detail_url": "http://218.77.183.36:8079/yzt/toHandleQuery.do?id=YmVobG9xcXJ4eXhud3B2Z3Rl&uniScID=amNrcm9xcXBeVXZGcVRZc0pm&jumpFlag=false",
				"company_code": "460000605236009",
				"company_status": "06",
				"company_type_code": "9600",
				"company_type": "个体工商户",
				"capital": 5,
				"company_address": "海南省海口市龙华区新坡镇新和街254号201",
				"company_tel": "13549459202",
				"company_phone": "13549459202"
			}
		]
	},
	"http_code": 200,
	"error_msg": "",
	"task_result": 1000,
	"data_type": "detail",
	"spider_start_time": "2021-05-20 19:19:36.043",
	"spider_end_time": "2021-05-20 19:19:36",
	"task_params": {
		"province": "HAIN",
		"credit_no": "92460000MA5U0KGBX5",
		"company_code": "460000605236009",
		"company_name": "海口龙华区丁妍智百货店"
	},
	"metadata": {},
	"spider_name": "ic_icpsp_spider",
	"spider_ip": "10.8.0.30"
}

爬虫运行环境

scrapy

爬虫部署信息

ic_icpsp_spiders: 10.8.6.51 35个进程

Taskhub地址

提交任务地址: http://10.8.6.222:18518/task/
代码编写地址: http://192.168.109.110/granite/project-gravel/blob/develop_app_10jqka_20210121/app_general_taxpayer/data_pump/general_taxpayer.yml

Taskhub调度规则说明

task_result=1000    # 正常获取到详情任务
task_result=1101    # 无结果信息
task_result=9101    # 超时错误，需要进行重试，目前重试5次
task_result=8000    # 参数错误

爬虫监控指标设计

(先观察，待补充)
索引: 
监控频率: 
监控起止时间: 
报警条件: 
报警群:  
报警内容:

数据归集

责任人

数据归集方式

  • 爬虫直接写kafka

  • 爬虫写文件logstash采集

爬虫结果目录

归集后存放目录

logstash配置文件名称

logstash文件采集type

数据归集的topic

ES日志索引及筛选条件

监控指标看板

数据保留策略

数据清洗

责任人

代码地址

部署地址

部署方法及说明

  • crontab + data_pump
  • supervisor + data_pump
  • supervisor + consumer

数据接收来源

数据存储表地址

  • 数据库地址：
  • 表名：