数据来源

中国机构检索

http://jgbzy.conac.cn/orgs/#/?fields=jgmc

主体类型

company_major_type: 8

爬虫相关

爬虫工作流转表

主要业务字段

上线MongoDB数据格式

{
    "spider_name": "jgbzy_spider",
    "spider_start_time": "2021-08-30 10:02:00",
    "task_result": 1000,
    "spider_end_time": "2021-08-30 10:03:00",
    "task_params": {
        "company_name": "中共海南省委全面深化改革委员会办公室",
        "credit_no": "11460000MB188512X3",
        "search_key": "11460000MB188512X3"
    },
    "companyinfo_item": {
        "company_name": "中共海南省委全面深化改革委员会办公室",
        "credit_no": "11460000MB188512X3",
        "legal_person": "孙大海",
        "company_type": "党政机关",
        "company_major_type": 8,
        "organ_category": "党委",
        "company_address": "海南省海口市国兴大道69号海南广场1号楼4层",
        "business_scope": "未公示",
        "post_code": "570204",
        "data_source": 1,
        "data_status": 1,
        "create_time": "2021-08-30 10:17:00",
        "lastupdatetime": "2021-08-30 10:17:00",
    }
}

特殊主体库表结构

CREATE TABLE utn_special.`special_gov_unit` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '自增主键',
  `province_short` varchar(5) DEFAULT NULL COMMENT '省份（英文缩写）',
  `company_name` varchar(255) NOT NULL COMMENT '机关单位名称',
  `company_id` char(32) NOT NULL COMMENT '主体唯一键',
  `credit_no` varchar(50) DEFAULT NULL COMMENT '统一信用代码',
  `legal_person` varchar(255) DEFAULT NULL COMMENT '法定代表人或负责人',
  `company_type` varchar(100) DEFAULT NULL COMMENT '机构类型',
  `organ_category` varchar(100) DEFAULT NULL COMMENT '机构类别',
  `company_address` varchar(300) DEFAULT NULL COMMENT '办公地址',
  `business_scope` text DEFAULT NULL COMMENT '机构职能',
  `post_code` varchar(10) DEFAULT NULL COMMENT '邮政编码',
  `use_flag` tinyint(4) DEFAULT NULL COMMENT '使用标记，0有效，10废弃删除',
  `create_time` datetime DEFAULT CURRENT_TIMESTAMP COMMENT '入库时间',
  `update_time` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
  PRIMARY KEY (`id`),
  UNIQUE KEY `idx_digest` (`company_id`),
  KEY `idx_company_name` (`company_name`),
  KEY `idx_credit_no` (`credit_no`),
  KEY `idx_create_time` (`create_time`),
  KEY `idx_update_time` (`update_time`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;