蒋家升基本信息
建筑业企业资质证书爬虫，目前采集小程序端，名字《全国建筑市场监管公共服务平台》数据名称（中文）
建筑业企业资质证书数据英文名称
certifications采集网站（采集入口）
网站数据接口（小程序）:
https://sky.mohurd.gov.cn/skyapi/api/statis/getResult采集频率及采集策略
存量更新策略
增量采集策略
目前取一轮补完，目标数量参考企查查爬虫
责任人
蒋家升爬虫名称
certifications代码地址
项目地址: http://tech.pingansec.com/granite/project-gravel/-/tree/develop_certifications/scrapy_spiders队列名称及队列地址
- redis host: redis://:utn@0818@bdp-mq-001.redis.rds.aliyuncs.com:6379/7
- redis port: 6379
- redis db: 7
- redis key:
- certifications:building
优先级队列说明
任务来源
以data_pump读sql，设offset，再将其输出输入至redis的任务键上任务输入参数（样例）
常规任务输入
{"search_key": "四川疆耀建设工程有限公司"}
{"search_key": "91340400698951800P"}任务样例
任务参数说明
{"search_key": "四川疆耀建设工程有限公司"}
{"search_key": "91340400698951800P"}
- search_key: 关键词搜索，（只能全匹配，不能模糊搜索）当前测得该字段支持 1、统一社会信用代码；2、公司名称
data_type说明
detail: 详情信息,一个证书一条数据爬虫结果的超级数据
同以下实际爬虫结果实际爬虫结果的数据结构
- 先通过
search_key进行列表页搜索，再到公司详情页获取每一个证书，每一个资质一个数据 - 结果中data里的
source_url值仅为方便PC上查看信息，实则信息采集的是微信小程序
{
"data":
{
"company_name": "四川疆耀建设工程有限公司",
"cert_type": "建筑业企业资质",
"cert_name": "城市及道路照明工程专业承包三级",
"org_an": "成都市城乡建设委员会",
"cert_no": "D351888401",
"issue_date": "2021-02-18",
"end_date": "2024-01-11",
"qulifi_scope": "城市及道路照明工程专业承包三级",
"source_url": "http://jzsc.mohurd.gov.cn/data/company/detail?id=002105291322982461"
},
"http_code": 200,
"error_msg": "",
"task_result": 1000,
"data_type": "detail",
"spider_start_time": "2021-10-22 11:12:37.946",
"spider_end_time": "2021-10-22 11:12:38",
"task_params":{"search_key": "四川疆耀建设工程有限公司"},
"metadata":{},
"spider_name": "certifications",
"spider_ip": "10.8.6.51"
}爬虫运行环境
scrapy爬虫部署信息
机器：node_51
项目名称：gravel_spiders
10个进程Taskhub地址
Taskhub调度规则说明
爬虫监控指标设计
数据归集
责任人
数据归集方式
-
爬虫直接写kafka
-
爬虫写文件logstash采集
爬虫结果目录
归集后存放目录
logstash配置文件名称
logstash文件采集type
数据归集的topic
ES日志索引及筛选条件
监控指标看板
数据保留策略
数据清洗
责任人
代码地址
部署地址
部署方法及说明
- crontab + data_pump
- supervisor + data_pump
- supervisor + consumer