基本信息

香港企业补充

数据名称（中文）

香港企业

数据英文名称

enterprise_hk

采集网站（采集入口）

官网PC端入口:
https://www.icris.cr.gov.hk/csci/cps_criteria.do

采集文件存放路径：
/data/gravel_spiders/enterprise_hk_spider

采集频率及采集策略

存量更新策略

目前全量更新一轮即可.

增量采集策略

1.新成立的主体
2.补充的主体

一周更新一次

---

爬虫

香港企业补充爬虫 enterprise_hk_spider

责任人

蒋家升

爬虫名称

enterprise_hk_spider

代码地址

项目地址: 

队列名称及队列地址

• redis host: redis://:utn@0818@bdp-mq-001.redis.rds.aliyuncs.com:6379/0
• redis port: 6379
• redis db: 0
• redis key:
  • enterprise:hk

优先级队列说明

• enterprise:hk 支持队列优先级

任务来源

任务输入参数（样例）

其中CRNo（公司编号）为必需

{
    "CRNo": 446
  }

任务样例

任务参数说明

{
    "CRNo": 446
  }

• 主要参数
  • CRNo: 公司编号

data_type说明

detail: 详情信息

爬虫结果的超级数据

同以下实际爬虫结果

实际爬虫结果的数据结构

{
  "data":
  {
    "company_code": "0000446",
    "company_type": "私人股份有限公司",
    "establish_date": "1922-06-00",
    "company_status": "仍注册",
    "remark": "",
    "liquidation_mode": "",
    "cancel_date": "",
    "mortgage": "有",
    "imp_matters": "",
    "company_name": "堅穩工程有限公司",
    "en_name": "KENWORTH ENGINEERING LIMITED",
    "changes_hk":
    [
      {
        "change_field": "使用名称",
        "change_date": "2000-08-00",
        "use_name": "堅穩工程有限公司",
        "use_en_name": "KENWORTH ENGINEERING LIMITED"
      },
      {
        "change_field": "使用名称",
        "change_date": "1996-09-03",
        "use_name": "太元堅穩工程有限公司",
        "use_en_name": "UDL KENWORTH ENGINEERING LIMITED"
      },
      {
        "change_field": "使用名称",
        "change_date": "1988-08-05",
        "use_name": "堅穩工程有限公司",
        "use_en_name": "KENWORTH ENGINEERING LIMITED"
      },
      {
        "change_field": "使用名称",
        "change_date": "1988-03-08",
        "use_name": "堅穩工程有限公司",
        "use_en_name": "POLYGON ENGINEERING LIMITED"
      },
      {
        "change_field": "使用名称",
        "change_date": "1987-01-07",
        "use_name": "",
        "use_en_name": "POLYGON ENGINEERING LIMITED"
      },
      {
        "change_field": "使用名称",
        "change_date": "1982-07-06",
        "use_name": "",
        "use_en_name": "GILMAN ENGINEERING LIMITED"
      },
      {
        "change_field": "使用名称",
        "change_date": "1922-06-00",
        "use_name": "",
        "use_en_name": "JAMES H. BACKHOUSE LIMITED"
      }
    ]
  },
  "http_code": 200,
  "error_msg": "",
  "task_result": 1000,
  "data_type": "detail",
  "spider_start_time": "2021-09-10 17:10:21.044",
  "spider_end_time": "2021-09-10 17:10:22",
  "task_params":
  {
    "CRNo": 446
  },
  "metadata":
  {},
  "spider_name": "enterprise_hk_spider",
  "spider_ip": "10.8.1.14"
}

爬虫运行环境

scrapy

爬虫部署信息

target: node_76,
spider_name: enterprise_hk_spider 
10个进程  

Taskhub地址

提交任务地址: 
代码编写地址: 

Taskhub调度规则说明

task_result=1000    # 正常获取到详情任务
task_result=1101    # 无结果信息
task_result=9101    # 超时错误，需要进行重试，目前重试5次
task_result=8000    # 参数错误

爬虫监控指标设计

(先观察，待补充)
索引: 
监控频率: 
监控起止时间: 
报警条件: 
报警群:  
报警内容: 

---

数据归集

责任人

数据归集方式

• 爬虫直接写kafka

• 爬虫写文件logstash采集

爬虫结果目录

归集后存放目录

logstash配置文件名称

logstash文件采集type

数据归集的topic

ES日志索引及筛选条件

监控指标看板

数据保留策略

---

数据清洗

责任人

代码地址

部署地址

部署方法及说明

• crontab + data_pump
• supervisor + data_pump
• supervisor + consumer

数据接收来源

数据存储表地址

• 数据库地址：
• 表名：