Skip to content

GitLab

Last edited by ylb
Page history
This is an old version of this page. You can view the most recent version or browse the history.

zongju_notice

基本信息 

总局pc公告爬虫
zongju_notice,通过scrapy部署
项目名称：project-ic-spiders
分支：dev_ic_pc_py3

数据名称（中文）

总局pc公告信息

数据英文名称

zongju_notice

采集网站（采集入口）

首页 http://www.gsxt.gov.cn/corp-query-entprise-info-xxgg-100000.html
各省的地址不一样

采集频率及采集策略

存量更新策略

无存量更新

增量采集策略

每日20：00提交一批任务

爬虫 

工商信息 zongju_notice

责任人

杨龙斌

爬虫名称

zongju_notice_spider

代码地址

项目地址:http://tech.pingansec.com/granite/project-ic-spiders/-/blob/dev_ic_pc_py3/scrapy_spiders/gravel_spiders/spiders/ic_notice.py

队列名称及队列地址

优先级队列说明

  • 支持队列优先级

任务来源

例行任务

任务输入参数（样例）

{
  "task_params": {
    "sub_city_code": "110101",
    "notice_type": "abnormal_include"
  },
  "task_src": 22
}

任务样例

任务参数说明

    {
  "sub_city_code": "省份代码",
  "notice_type": "公告类型"
}

data_type说明

detail: 详情信息

爬虫结果的超级数据

{
  "spider_start_time": "2022-01-19 11:27:36.051569",
  "task_result": 1000,
  "task_src": 22,
  "spider_name": "zongju_notice",
  "task_params": {
    "sub_city_code": "150423",
    "notice_type": "abnormal_remove"
  },
  "task_type": "经营异常",
  "spider_end_time": "2022-01-19 11:27:57.254657",
  "data": {
    "search_info": {
      "datafrom": "",
      "entName": "",
      "judAuth": "150430002",
      "judAuth_CN": "赤峰敖汉旗四道湾子市场监督管理所",
      "judDate": null,
      "lastModifiedTime": null,
      "nodeNum": "150000",
      "noticeContent": "敖汉旗长久育林绿化有限公司\r\n你单位因未依照《企业信息公示暂行条例》第八条规定的期限公示年度报告，违反了《企业经营异常名录管理暂行办法》 的相关规定，被列入经营异常名录。现企业已履行相关义务，申请移出。\r\n本局依据《企业经营异常名录管理暂行办法》规定，经审查作出决定：将该企业移出经营异常名录。",
      "noticeDate": 1615132800000,
      "noticeId": "e5332bb2-017a-1000-e000-0bf17f000001-ycyc",
      "noticeNO": "",
      "noticeTitle": "关于敖汉旗长久育林绿化有限公司移出经营异常名录的公告",
      "noticeType": "12",
      "simpleCancelUrl": ""
    },
    "detail_info": {
      "datafrom": "",
      "entName": "",
      "judAuth": "150430002",
      "notice_authority": "赤峰敖汉旗四道湾子市场监督管理所",
      "judDate": 1615132800000,
      "lastModifiedTime": null,
      "nodeNum": "",
      "notice_content": "敖汉旗长久育林绿化有限公司\n你单位因未依照《企业信息公示暂行条例》第八条规定的期限公示年度报告，违反了《企业经营异常名录管理暂行办法》 的相关规定，被列入经营异常名录。现企业已履行相关义务，申请移出。\n本局依据《企业经营异常名录管理暂行办法》规定，经审查作出决定：将该企业移出经营异常名录。",
      "notice_time": 1615132800000,
      "notice_id": "e5332bb2-017a-1000-e000-0bf17f000001-ycyc",
      "noticeNO": "敖四道湾子移（2021）第20000261520001号",
      "notice_title": "关于敖汉旗长久育林绿化有限公司移出经营异常名录的公告",
      "noticeType": "12",
      "simpleCancelUrl": "",
      "company_name": "敖汉旗长久育林绿化有限公司",
      "notice_type": 12
    }
  },
  "spider_ip": "192.168.56.1"
}

实际爬虫结果的数据结构

{
  "spider_start_time": "2022-01-19 11:27:36.051569",
  "task_result": 1000,
  "task_src": 22,
  "spider_name": "zongju_notice",
  "task_params": {
    "sub_city_code": "150423",
    "notice_type": "abnormal_remove"
  },
  "task_type": "经营异常",
  "spider_end_time": "2022-01-19 11:27:57.254657",
  "data": {
    "search_info": {
      "datafrom": "",
      "entName": "",
      "judAuth": "150430002",
      "judAuth_CN": "赤峰敖汉旗四道湾子市场监督管理所",
      "judDate": null,
      "lastModifiedTime": null,
      "nodeNum": "150000",
      "noticeContent": "敖汉旗长久育林绿化有限公司\r\n你单位因未依照《企业信息公示暂行条例》第八条规定的期限公示年度报告，违反了《企业经营异常名录管理暂行办法》 的相关规定，被列入经营异常名录。现企业已履行相关义务，申请移出。\r\n本局依据《企业经营异常名录管理暂行办法》规定，经审查作出决定：将该企业移出经营异常名录。",
      "noticeDate": 1615132800000,
      "noticeId": "e5332bb2-017a-1000-e000-0bf17f000001-ycyc",
      "noticeNO": "",
      "noticeTitle": "关于敖汉旗长久育林绿化有限公司移出经营异常名录的公告",
      "noticeType": "12",
      "simpleCancelUrl": ""
    },
    "detail_info": {
      "datafrom": "",
      "entName": "",
      "judAuth": "150430002",
      "notice_authority": "赤峰敖汉旗四道湾子市场监督管理所",
      "judDate": 1615132800000,
      "lastModifiedTime": null,
      "nodeNum": "",
      "notice_content": "敖汉旗长久育林绿化有限公司\n你单位因未依照《企业信息公示暂行条例》第八条规定的期限公示年度报告，违反了《企业经营异常名录管理暂行办法》 的相关规定，被列入经营异常名录。现企业已履行相关义务，申请移出。\n本局依据《企业经营异常名录管理暂行办法》规定，经审查作出决定：将该企业移出经营异常名录。",
      "notice_time": 1615132800000,
      "notice_id": "e5332bb2-017a-1000-e000-0bf17f000001-ycyc",
      "noticeNO": "敖四道湾子移（2021）第20000261520001号",
      "notice_title": "关于敖汉旗长久育林绿化有限公司移出经营异常名录的公告",
      "noticeType": "12",
      "simpleCancelUrl": "",
      "company_name": "敖汉旗长久育林绿化有限公司",
      "notice_type": 12
    }
  },
  "spider_ip": "192.168.56.1"
}

爬虫运行环境

scrapy

爬虫部署信息

10.8.6.19 50个进程  zongju_notice

Taskhub地址

Taskhub调度规则说明

task_result=1000    # 正常获取到详情任务
task_result=1101    # 无结果信息
task_result=9101    # 超时错误，需要进行重试，目前重试5次
task_result=8000    # 参数错误
task_result=8004    # 请求到空白链接

爬虫监控指标设计

(先观察，待补充)
索引: 
监控频率: 
监控起止时间: 
报警条件: 
报警群:  
报警内容:

数据归集

责任人

范召贤

数据归集方式

  • [] 爬虫直接写kafka

  • [] 爬虫写文件logstash采集

爬虫结果目录

/data/ic_spider_data/zongju_notice

归集后存放目录

logstash配置文件名称

logstash文件采集type

zongju_pc_spider

数据归集的topic

collie-ic-data-to-mongo

ES日志索引及筛选条件

collie-ic-spider-business-log-*

监控指标看板

数据保留策略

数据清洗

责任人

代码地址

部署地址

部署方法及说明

  • crontab + data_pump
  • supervisor + data_pump
  • supervisor + consumer

数据接收来源

数据存储表地址

  • 数据库地址：
  • 表名：