基本信息

建筑业企业资质证书爬虫，目前采集小程序端，名字《全国建筑市场监管公共服务平台》

数据名称（中文）

建筑业企业资质证书

数据英文名称

certifications

采集网站（采集入口）

网站数据接口（小程序）:
https://sky.mohurd.gov.cn/skyapi/api/statis/getResult

采集频率及采集策略

存量更新策略

增量采集策略

目前取一轮补完，目标数量参考企查查

---

爬虫

责任人

蒋家升

爬虫名称

certifications

代码地址

项目地址: http://tech.pingansec.com/granite/project-gravel/-/tree/develop_certifications/scrapy_spiders

队列名称及队列地址

• redis host: redis://:utn@0818@bdp-mq-001.redis.rds.aliyuncs.com:6379/7
• redis port: 6379
• redis db: 7
• redis key:
  • certifications:building

优先级队列说明

任务来源

以data_pump读sql，设offset，再将其输出输入至redis的任务键上

任务输入参数（样例）

常规任务输入

{"search_key": "四川疆耀建设工程有限公司"}

{"search_key": "91340400698951800P"}

任务样例

任务参数说明

{"search_key": "四川疆耀建设工程有限公司"}

{"search_key": "91340400698951800P"}

• search_key: 关键词搜索，（只能全匹配，不能模糊搜索）当前测得该字段支持 1、统一社会信用代码；2、公司名称

data_type说明

detail: 详情信息,其中每个字典为一条数据,只有这一种类型

爬虫结果的超级数据

同以下实际爬虫结果

实际爬虫结果的数据结构

• 先通过search_key进行列表页搜索，再到公司详情页获取每一个证书，每一个证书一个数据

{
  "data":
  {
    "company_name": "四川疆耀建设工程有限公司",
    "cert_type": "建筑业企业资质",
    "cert_name": "城市及道路照明工程专业承包三级",
    "org_an": "成都市城乡建设委员会",
    "cert_no": "D351888401",
    "issue_date": "2021-02-18",
    "end_date": "2024-01-11",
    "qulifi_scope": "城市及道路照明工程专业承包三级",
    "source_url": "http://jzsc.mohurd.gov.cn/data/company/detail?id=002105291322982461"
  },
  "http_code": 200,
  "error_msg": "",
  "task_result": 1000,
  "data_type": "detail",
  "spider_start_time": "2021-10-22 11:12:37.946",
  "spider_end_time": "2021-10-22 11:12:38",
  "task_params":{"search_key": "四川疆耀建设工程有限公司"},
  "metadata":{},
  "spider_name": "certifications",
  "spider_ip": "10.8.6.51"
}

爬虫运行环境

scrapy

爬虫部署信息

机器：node_51
项目名称：gravel_spiders
10个进程

Taskhub地址

Taskhub调度规则说明

爬虫监控指标设计

---

数据归集

责任人

范召贤

数据归集方式

• 爬虫直接写kafka

• 爬虫写文件logstash采集

爬虫结果目录

/data/gravel_spiders/certifications

归集后存放目录

/data2_227/grvael_spider_result/certifications

logstash配置文件名称

logstash文件采集type

数据归集的topic

general-taxpayer

ES日志索引及筛选条件

gravel-spider-data-*

监控指标看板

数据保留策略

---

数据清洗

责任人

代码地址

部署地址

部署方法及说明

• crontab + data_pump
• supervisor + data_pump
• supervisor + consumer

数据接收来源

数据存储表地址