Skip to content

GitLab

Last edited by fanzx
Page history

zongju_pc_spider

基本信息 

总局pc爬虫
zongju_pc_spider,通过scrapy部署
项目名称：project-ic-spiders
分支：dev_ic_pc_py3

数据名称（中文）

总局pc公示信息

数据英文名称

ic_spider_data

采集网站（采集入口）

首页 http://www.gsxt.gov.cn/index.html

采集频率及采集策略

存量更新策略

任务包括全量例行和指定任务的更新(高优先级)

增量采集策略

无

爬虫 

工商信息 zongju_pc_spider

责任人

杨龙斌

爬虫名称

zongju_pc_spider

代码地址

项目地址:http://tech.pingansec.com/granite/project-ic-spiders/-/blob/dev_ic_pc_py3/scrapy_spiders/gravel_spiders/spiders/ic_pc.py

队列名称及队列地址

优先级队列说明

  • 支持队列优先级

任务来源

例行任务

任务输入参数（样例）

{
  "task_type": "破码",
  "task_params": {
    "company_name": "江西花和贸易有限公司",
    "company_code": "360504210045018",
    "credit_no": "91360504MA399D7R06",
    "search_key": "91360504MA399D7R06",
    "province": "JX",
    "company_name_digest": "65fb8d2ecdc414ae195ab62a46ff5901",
    "task_src": 1,
    "outbound": "zongju_captcha",
    "routed_count": 1,
    "submitter": "taskhub",
    "group_retry_times": 0,
    "submit_time": "2021-11-12 10:58:42",
    "token_scope": "*",
    "retry_limits": 5,
    "rt": false,
    "priority": null,
    "task_uuid": "d791d182-6d14-450b-a3b7-290258b6c79d"
  },
  "task_src": 1,
  "retry_times": 0
}

任务样例

原工商破码任务

任务参数说明

{
  "spider_start_time": "2021-11-12 10:58:57.741861",
  "spider_name": "zongju_pc_spider",
  "retry_times": null,
  "data_type": "",
  "task_params": {
    "task_type": "破码",
    "task_src": 1,
    "retry_times": 0,
    "task_id": "a9786385-358e-4035-91de-9e4d5d130530",
    "spider_id": "40f59be7-230e-43a9-a5fe-2a9a4ef24ef6",
    "compare_id": "acbb6994-c4e2-426d-8199-ed2b217deb19",
    "company_name": "滨州恩齐建筑工程有限公司",
    "company_code": "371622200061663",
    "credit_no": "91371622MA3NYR6L24",
    "search_key": "91371622MA3NYR6L24",
    "province": "SD",
    "company_name_digest": "17bec849b093ed70ca25e7c1ca5f7a01",
    "outbound": "zongju_captcha",
    "routed_count": 1,
    "submitter": "taskhub",
    "group_retry_times": 0,
    "submit_time": "2021-10-16 21:07:09",
    "token_scope": "*",
    "retry_limits": 2,
    "rt": false,
    "priority": null,
    "task_uuid": "f8765b9f-458f-480c-bb06-99f2e7c78e93",
    "detail_url": "http://www.gsxt.gov.cn/%7B02F9D7A16AD8767399EF10A24804F43F492D779D2F4B077D53E12A5C38999EE817733F456BD9838692595C4812EDB70548BEF7113C308A444801EF212D2FEA65AC32AC32AC23EA48A400A43AA43AA400A43A980D9331AF209B99E90F604A2ADA7BBA917B37C78877BC5609AB09861803595C481276866C33910F910F910F-1636685431134%7D"
  },
  "spider_end_time": "2021-11-12 10:59:35.304394",
  "urlinfo_item": {
    "company_url": "",
    "oper_url": "",
    "punish_url": "",
    "illegal_status": 0,
    "oper_status": 0,
    "simple_cancel_status": 0
  },
  "result_code": "00000111",
  "companyinfo_item": {
    "credit_no": "91371622MA3NYR6L24",
    "company_code": "",
    "legal_person": "王磊",
    "authority": "滨州市阳信县市场监督管理局",
    "establish_date": "2019-01-03",
    "company_name": "滨州恩齐建筑工程有限公司",
    "legal_person_caption": "法定代表人",
    "company_type": "有限责任公司(自然人投资或控股)",
    "capital": "500.000000万",
    "issue_date": "2019-01-03",
    "operation_startdate": "2019-01-03",
    "operation_enddate": "",
    "company_status": "在营（开业）企业",
    "company_address": "山东省滨州市阳信县阳城四路名门现代城16号商铺",
    "business_scope": "室内外装饰工程、外墙保温工程、钢结构工程、房屋建设工程、园林绿化工程、土石方建设工程、公路路面工程、防水工程承包及施工；建筑建材、石子、沙子、水泥、混凝土、五金建材的批发、销售；铝合金门窗、车库翻版卷帘门、储藏室门的安装销售。（依法须经批准的项目，经相关部门批准后方可开展经营活动）",
    "capital_unit": "万",
    "companyinfo_success": 1,
    "changes": [],
    "change_size": 0,
    "change_success": 0,
    "area_code": 370000,
    "province": "山东省",
    "province_code": 1016,
    "province_short": "SD",
    "data_status": 1,
    "data_source": 1,
    "create_time": "2021-11-12 10:59:35.304440",
    "lastupdatetime": "2021-11-12 10:59:35.304441",
    "company_name_digest": "d390039629986ce9d241185de61e18c6"
  },
  "task_result": 1000,
  "mark": ""
}

data_type说明

detail: 详情信息

爬虫结果的超级数据

同上

实际爬虫结果的数据结构

同上

爬虫运行环境

scrapy

爬虫部署信息

general_taxpayer: 10.8.6.30 100个进程

Taskhub地址

Taskhub调度规则说明

task_result=1000    # 正常获取到详情任务
task_result=1101    # 无结果信息
task_result=9101    # 超时错误，需要进行重试，目前重试5次
task_result=8000    # 参数错误
task_result=8004    # 请求到空白链接

爬虫监控指标设计

(先观察，待补充)
索引: 
监控频率: 
监控起止时间: 
报警条件: 
报警群:  
报警内容:

数据归集

责任人

范召贤

数据归集方式

  • [] 爬虫直接写kafka

  • [] 爬虫写文件logstash采集

爬虫结果目录

/data/ic_spider_data/zongju_pc_spider

归集后存放目录

无

logstash配置文件名称

project-deploy/logstash/10.8.6.246/conf.d/collie_spider_data_to_kfk.conf
project-deploy/logstash/10.8.6.229/conf.d/ic_spider/collie_ic_spider_to_es.conf

logstash文件采集type

zongju_pc_spider

数据归集的topic

collie-ic-data-to-mongo

ES日志索引及筛选条件

collie-ic-spider-business-log-*

监控指标看板

数据保留策略

数据清洗

责任人

代码地址

部署地址

部署方法及说明

  • crontab + data_pump
  • supervisor + data_pump
  • supervisor + consumer

数据接收来源

数据存储表地址

  • 数据库地址：
  • 表名：