Skip to content

GitLab

Last edited by 蒋家升
Page history

hongkong_company_spider

基本信息 

香港企业补充

数据名称（中文）

香港企业

数据英文名称

enterprise_hk

采集网站（采集入口）

官网PC端入口:
https://www.icris.cr.gov.hk/csci/cps_criteria.do

采集文件存放路径：
/data/gravel_spiders/enterprise_hk

采集频率及采集策略

存量更新策略


目前全量更新一轮即可.

增量采集策略

1.新成立的主体
2.补充的主体

一周更新一次

爬虫 

香港企业补充爬虫 enterprise_hk_spider

责任人

蒋家升

爬虫名称

enterprise_hk_spider

代码地址

项目地址: http://tech.pingansec.com/granite/project-gravel/-/tree/develop_enterprise/scrapy_spiders

队列名称及队列地址

优先级队列说明

  • enterprise_hk 支持队列优先级

任务来源

找新：每天从 `special_hongkong_company` 表中筛出英文前缀和纯数字的最大值，分别向后例行1000条
目前在10.8.6.27上crontab运行，
命令：
    纯数字：`... data_pump.py pump-data --config /home/collie/product/app_enterprise/data_pump/enterprise_hk.yml`
    英文前缀：`... data_pump/enterprise_hk.yml --default_config prefix`

任务输入参数（样例）

其中CRNo（公司编号）为必需

{
    "CRNo": 446
  }

任务样例

任务参数说明

{"CRNo": 446}

{"CRNo": 446, "prefix": "F"}
  • 主要参数
    • CRNo: 公司编号，整型
  • 额外参数
    • prefix: 公司编号前缀，根据官网说明以及数据得知当前有「RT」、「LF」、「LP」、「SO」、「FM」、「MF」、「UC」、「F」 例如 F0021791, LP0000001

data_type说明

detail: 详情信息

爬虫结果的超级数据

同以下实际爬虫结果

实际爬虫结果的数据结构

2021-10-29之前数据，字段 changes_hk，已进行清洗

{
  "data":
  {
    "company_code": "0000446",
    "company_type": "私人股份有限公司",
    "establish_date": "1922-06-00",
    "company_status": "仍注册",
    "remark": "",
    "liquidation_mode": "",
    "cancel_date": "",
    "mortgage": "有",
    "imp_matters": "",
    "company_name": "堅穩工程有限公司",
    "en_name": "KENWORTH ENGINEERING LIMITED",
    "changes_hk":
    [
      {
        "change_field": "使用名称",
        "change_date": "2000-08-00",
        "use_name": "堅穩工程有限公司",
        "use_en_name": "KENWORTH ENGINEERING LIMITED"
      },
      {
        "change_field": "使用名称",
        "change_date": "1996-09-03",
        "use_name": "太元堅穩工程有限公司",
        "use_en_name": "UDL KENWORTH ENGINEERING LIMITED"
      },
      {
        "change_field": "使用名称",
        "change_date": "1988-08-05",
        "use_name": "堅穩工程有限公司",
        "use_en_name": "KENWORTH ENGINEERING LIMITED"
      },
      {
        "change_field": "使用名称",
        "change_date": "1988-03-08",
        "use_name": "堅穩工程有限公司",
        "use_en_name": "POLYGON ENGINEERING LIMITED"
      },
      {
        "change_field": "使用名称",
        "change_date": "1987-01-07",
        "use_name": "",
        "use_en_name": "POLYGON ENGINEERING LIMITED"
      },
      {
        "change_field": "使用名称",
        "change_date": "1982-07-06",
        "use_name": "",
        "use_en_name": "GILMAN ENGINEERING LIMITED"
      },
      {
        "change_field": "使用名称",
        "change_date": "1922-06-00",
        "use_name": "",
        "use_en_name": "JAMES H. BACKHOUSE LIMITED"
      }
    ]
  },
  "http_code": 200,
  "error_msg": "",
  "task_result": 1000,
  "data_type": "detail",
  "spider_start_time": "2021-09-10 17:10:21.044",
  "spider_end_time": "2021-09-10 17:10:22",
  "task_params": {"CRNo": 446},
  "metadata": {},
  "spider_name": "enterprise_hk_spider",
  "spider_ip": "10.8.1.14"
}

2021-10-29之后数据，爬虫仅保留压缩(gzip+base64)后的html不进行清洗，字段 changes_hk_ele

{
  "data":
  {
    "company_code": "1268978",
    "company_type": "私人股份有限公司",
    "establish_date": "2008-08-29",
    "company_status": "已告解散",
    "remark": "已告解散(被除名)",
    "liquidation_mode": "",
    "cancel_date": "2012-12-14",
    "mortgage": "",
    "imp_matters": "",
    "company_name": "加拿大亞特蘭格國際農化有限公司",
    "en_name": "CANADA YATELANGE INT'L FARMING CHEMICAL LIMITED",
    "changes_hk_ele": "H4sIAMvTe2EC/7MpSUzKSVUoz0wpybBVsrRUVVJIzkksLrZVSkksSVSy4+VSgAGbkiKFpPTk/Jz8IlslZTc3Z2dLS5ACTohkBopGheKSypxUWyWwwVaGRgYFJUp2Nkl2Nmn5eSUwlcWJuamJxUn5KZVKdk8n9D5fvuH5lPnPpnY8m7702Zz5NvogtXY2+kBd+iUZOG3KSM1MzyixVTIyBLkGqAqfNU/27n8+ZQXEMhwWgEzQLymCmAVBYEFkAiTICSagOsA0QhSmEo6AgWfHZVOSolCUX15ckJgHdC5aSBsZGFg83bnF4tmcDiNLYAgA3ZBiB9KBosoGpBkmlJxfmQf0m5Kds6Ofo4ujQqRjiKuPo5+7q4KnX4i6j4KbY5Cvp5+7grOHq6+ns6OPgo+nr2eIq4uNPsgUO7ANXGC/wp1HhGVPuxY8697/dMnyJ7vmPe/c+WLG2mcL9jyd0/1y1uwX+zY97Zn2bE7ny5kTnrauedq/A9MqLi5IAIPSHTiMIUkMQcMTnAJCBgQBZD3nAKsCAAA="
  },
  "http_code": 200,
  "error_msg": "",
  "task_result": 1000,
  "data_type": "detail",
  "spider_start_time": "2021-10-29 18:58:18.405",
  "spider_end_time": "2021-10-29 18:58:19",
  "task_params": {"CRNo": 1268978},
  "metadata": {},
  "spider_name": "enterprise_hk",
  "spider_ip": "10.8.1.58"
}

上面该条数据changes_hk_ele对应的html代码如下

  • 常规
<table width="99%" class="data">\r\n         <tr bgcolor="#FFCC99">\r\n\t    <th class="data" style="width:120pt"><b><font class="sameasbody">名称生效日期</font></b></th>\r\n\t    <th class="data" height="21">\r\n\r\n\t<b><font class="sameasbody">使用名称</font></b></th>\r\n\t    \r\n\t</tr>\r\n\r\n\t\r\n\t\r\n\t  \r\n\t  \r\n\t  \r\n\t  \t\r\n\t\t\t\r\n\t\t    \r\n\t\t    \t\r\n\t\t\t\r\n\t\t\r\n\t  \r\n\t\r\n\t\r\n\t\r\n\t<tr>\n<td rowspan="2" class="data">2008年8月29日</td><td class="data"><span class="coyname">CANADA YATELANGE INT\'L FARMING CHEMICAL LIMITED</span></td>\n</tr><tr>\n<td class="data"><span class="coyname">加拿大亞特蘭格國際農化有限公司</span></td>\n</tr>\n\n\r\n\t</table>\r\n\r\n\r\n    \r\n\r\n    \r\n          \r\n    \r\n\r\n\r\n\r\n
  • 特殊1
<font class=&quot;sameasbody&quot;>名称类别: 1 - 法团名称; 2 - 其他法团名称; 3 - 经处长批准在香港经营业务所采用的名称</font>\n<table class="data" width="99%">\n                        <tbody><tr bgcolor="#FFCC99">\n                            <th class="data" style="width:120pt"><b><font class="sameasbody">名称生效日期</font></b></th>\n                            <th class="data" height="21">\n\n                                <b><font class="sameasbody">使用名称</font></b></th>\n\n                            <th class="data" style="width:120pt" height="21" align="center"><b><font class="sameasbody">名称类别</font></b></th>\n\n                        </tr>\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n                        <tr><td rowspan="1" class="data">2015年9月25日</td><td class="data"><span class="coyname">廣東愛得威建設(集團)股份有限公司</span></td><td class="data" width="15%" align="center">1</td></tr>\n\n                        </tbody></table>\n\n\n\n\n\n\n\n\n\n

爬虫运行环境

scrapy

爬虫部署信息

target: node_76,
spider_name: enterprise_hk_spider 
6个进程

Taskhub相关

任务提交

提交任务地址: http://10.8.6.222:8526/task/

任务提交示例: curl -L -X POST 'http://10.8.6.222:8526/task/' -H 'Content-Type: application/json' --data-raw '{"spider_name": "enterprise_hk", "CRNo": 446, "prefix": "F"}'
相当于task_params再加入"spider_name": "enterprise_hk"

Taskhub重试调度规则说明

task_result=1000    # 正常获取到详情任务
task_result=1101    # 无结果信息
task_result=9101    # 超时错误，需要进行重试，目前重试5次
task_result=8000    # 参数错误

爬虫监控指标设计

(先观察，待补充)
索引: 
监控频率: 
监控起止时间: 
报警条件: 
报警群:  
报警内容:

数据归集

责任人

数据归集方式

  • 爬虫直接写kafka

  • 爬虫写文件logstash采集

爬虫结果目录

采集文件存放路径：
/data/gravel_spiders/enterprise_hk

归集后存放目录

/data2_227/grvael_spider_result/enterprise_hk

logstash配置文件名称

logstash文件采集type

数据归集的topic

general-taxpayer

ES日志索引及筛选条件

public-company-spider-data-*

监控指标看板

数据保留策略

数据清洗

责任人

代码地址

部署地址

部署方法及说明

  • crontab + data_pump
  • supervisor + data_pump
  • supervisor + consumer

数据接收来源

数据存储表地址

  • 数据库地址：10.8.6.87:3801
  • 表名：utn_special.special_hongkong_company