数据来源

https://www.icris.cr.gov.hk/csci/

主体类型

company_major_type: 10

爬虫相关

爬虫工作流转表

主要业务字段

上线MongoDB数据结构

{
    "spider_name": "hongkong_company_spider",
    "task_result": 1000,
    "spider_start_time": "2021-09-01 14:51:00",
    "spider_end_time": "2021-09-01 14:52:00",
    "task_params": {
        "company_name": "設計方塊裝飾工程有限公司",
        "company_code": "3080876",
        "search_key": "3080876"
    },
    "companyinfo_item": {
        "company_name": "設計方塊裝飾工程有限公司",
        "en_name": "CUBIC CONCEPTS DECORATION ENGINEERING LIMITED",
        "company_code": "3080876",
        "company_type": "私人股份有限公司",
        "establish_date": "2021-08-31",
        "company_status": "仍注册",
        "remark": "",
        "liquidation_mode": "",
        "cancel_date": "",
        "mortgage": "",
        "imp_matters": "",
        "company_major_type": 10,
        "province_short": "HK",
        "province": "香港",
        "area_code": "810000",
        "changes_hk": [
            {
                "change_field": "使用名称",
                "change_date": "2021-08-31",
                "use_name": "設計方塊裝飾工程有限公司",
                "use_en_name": "CUBIC CONCEPTS DECORATION ENGINEERING LIMITED"
            }
        ],
        "change_hk_size": 1,
        "data_source": 1,
        "data_status": 1,
        "create_time": "2021-09-01 15:07:00",
        "lastupdatetime": "2021-09-01 15:07:00"
    }
}

特殊主体库表结构

CREATE TABLE utn_special.`special_hongkong_company` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '自增主键',
  `province_short` varchar(5) DEFAULT NULL COMMENT '省份（英文缩写）',
  `company_name` varchar(255) NOT NULL COMMENT '公司名称',
  `company_id` char(32) NOT NULL COMMENT '主体唯一键',
  `company_code` varchar(50) DEFAULT NULL COMMENT '公司编号',
  `company_type` varchar(255) DEFAULT NULL COMMENT '公司类别',
  `establish_date` date DEFAULT NULL COMMENT '成立日期',
  `company_status` varchar(100) DEFAULT NULL COMMENT '公司现况',
  `remark` varchar(1000) DEFAULT NULL COMMENT '备注',
  `liquidation_mode` varchar(255) DEFAULT NULL COMMENT '清盘模式',
  `cancel_date` date DEFAULT NULL COMMENT '已告解散日期/不再是独立实体日期',
  `mortgage` varchar(255) DEFAULT NULL COMMENT '押记登记册',
  `imp_matters` varchar(255) DEFAULT NULL COMMENT '重要事项',
  `use_flag` tinyint(4) DEFAULT NULL COMMENT '使用标记，0有效，10废弃删除',
  `create_time` datetime DEFAULT CURRENT_TIMESTAMP COMMENT '入库时间',
  `update_time` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
  PRIMARY KEY (`id`),
  UNIQUE KEY `idx_digest` (`company_id`),
  KEY `idx_company_name` (`company_name`),
  KEY `idx_company_code` (`company_code`),
  KEY `idx_create_time` (`create_time`),
  KEY `idx_update_time` (`update_time`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;


CREATE TABLE utn_special.`special_hongkong_company_history` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '自增主键',
  `company_id` char(32) NOT NULL COMMENT '主体唯一键',
  `change_record` char(32) NOT NULL COMMENT '变更记录',
  `change_field` varchar(200) DEFAULT NULL COMMENT '变更类型',
  `change_date` date DEFAULT NULL COMMENT '变更日期',
  `use_name` varchar(255) DEFAULT NULL COMMENT '变更中文名',
  `use_en_name` varchar(255) DEFAULT NULL COMMENT '变更英文名',
  `use_flag` tinyint(4) DEFAULT NULL COMMENT '使用标记，0有效，10废弃删除',
  `create_time` datetime DEFAULT CURRENT_TIMESTAMP COMMENT '入库时间',
  `update_time` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
  PRIMARY KEY (`id`),
  unique key `idx_change` (`company_id`, `change_record`),
  KEY `idx_create_time` (`create_time`),
  KEY `idx_update_time` (`update_time`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;