Skip to content

GitLab

Last edited by 蒋家升
Page history
This is an old version of this page. You can view the most recent version or browse the history.

hongkong_company_spider

基本信息 

香港企业补充

数据名称（中文）

香港企业

数据英文名称

enterprise_hk

采集网站（采集入口）

官网PC端入口:
https://www.icris.cr.gov.hk/csci/cps_criteria.do

采集文件存放路径：
/data/gravel_spiders/enterprise_hk

采集频率及采集策略

存量更新策略


目前全量更新一轮即可.

增量采集策略

1.新成立的主体
2.补充的主体

一周更新一次

爬虫 

香港企业补充爬虫 enterprise_hk_spider

责任人

蒋家升

爬虫名称

enterprise_hk_spider

代码地址

项目地址: http://tech.pingansec.com/granite/project-gravel/-/tree/develop_enterprise/scrapy_spiders

队列名称及队列地址

优先级队列说明

  • enterprise:hk 支持队列优先级

任务来源

任务输入参数（样例）

其中CRNo（公司编号）为必需

{
    "CRNo": 446
  }

任务样例

任务参数说明

{
    "CRNo": 446
  }
  • 主要参数
    • CRNo: 公司编号

data_type说明

detail: 详情信息

爬虫结果的超级数据

同以下实际爬虫结果

实际爬虫结果的数据结构

{
  "data":
  {
    "company_code": "0000446",
    "company_type": "私人股份有限公司",
    "establish_date": "1922-06-00",
    "company_status": "仍注册",
    "remark": "",
    "liquidation_mode": "",
    "cancel_date": "",
    "mortgage": "有",
    "imp_matters": "",
    "company_name": "堅穩工程有限公司",
    "en_name": "KENWORTH ENGINEERING LIMITED",
    "changes_hk":
    [
      {
        "change_field": "使用名称",
        "change_date": "2000-08-00",
        "use_name": "堅穩工程有限公司",
        "use_en_name": "KENWORTH ENGINEERING LIMITED"
      },
      {
        "change_field": "使用名称",
        "change_date": "1996-09-03",
        "use_name": "太元堅穩工程有限公司",
        "use_en_name": "UDL KENWORTH ENGINEERING LIMITED"
      },
      {
        "change_field": "使用名称",
        "change_date": "1988-08-05",
        "use_name": "堅穩工程有限公司",
        "use_en_name": "KENWORTH ENGINEERING LIMITED"
      },
      {
        "change_field": "使用名称",
        "change_date": "1988-03-08",
        "use_name": "堅穩工程有限公司",
        "use_en_name": "POLYGON ENGINEERING LIMITED"
      },
      {
        "change_field": "使用名称",
        "change_date": "1987-01-07",
        "use_name": "",
        "use_en_name": "POLYGON ENGINEERING LIMITED"
      },
      {
        "change_field": "使用名称",
        "change_date": "1982-07-06",
        "use_name": "",
        "use_en_name": "GILMAN ENGINEERING LIMITED"
      },
      {
        "change_field": "使用名称",
        "change_date": "1922-06-00",
        "use_name": "",
        "use_en_name": "JAMES H. BACKHOUSE LIMITED"
      }
    ]
  },
  "http_code": 200,
  "error_msg": "",
  "task_result": 1000,
  "data_type": "detail",
  "spider_start_time": "2021-09-10 17:10:21.044",
  "spider_end_time": "2021-09-10 17:10:22",
  "task_params":
  {
    "CRNo": 446
  },
  "metadata":
  {},
  "spider_name": "enterprise_hk_spider",
  "spider_ip": "10.8.1.14"
}

爬虫运行环境

scrapy

爬虫部署信息

target: node_76,
spider_name: enterprise_hk_spider 
10个进程

Taskhub地址

提交任务地址: 
代码编写地址:

Taskhub调度规则说明

task_result=1000    # 正常获取到详情任务
task_result=1101    # 无结果信息
task_result=9101    # 超时错误，需要进行重试，目前重试5次
task_result=8000    # 参数错误

爬虫监控指标设计

(先观察，待补充)
索引: 
监控频率: 
监控起止时间: 
报警条件: 
报警群:  
报警内容:

数据归集

责任人

数据归集方式

  • 爬虫直接写kafka

  • 爬虫写文件logstash采集

爬虫结果目录

采集文件存放路径：
/data/gravel_spiders/enterprise_hk

归集后存放目录

/data2_227/grvael_spider_result/enterprise_hk

logstash配置文件名称

logstash文件采集type

数据归集的topic

general-taxpayer

ES日志索引及筛选条件

public-company-spider-data-*

监控指标看板

数据保留策略

数据清洗

责任人

代码地址

部署地址

部署方法及说明

  • crontab + data_pump
  • supervisor + data_pump
  • supervisor + consumer

数据接收来源

数据存储表地址

  • 数据库地址：
  • 表名：