Skip to content

GitLab

Last edited by 蒋家升
Page history

health_commission

基本信息 

卫健委爬虫
health_commission

[项目文档指引](http://tech.pingansec.com/granite/project-gravel/-/tree/develop_health_commission/scrapy_spiders)

数据名称（中文）

卫健委

数据英文名称

health_commission

采集网站（采集入口）

官网PC端入口: http://zgcx.nhc.gov.cn:9090/unit

采集文件存放路径：
/data/gravel_spiders/health_commission

采集频率及采集策略

存量更新策略

初次: QCC表任务

增量采集策略

爬虫 

卫健委 health_commission

责任人

蒋家升

爬虫名称

health_commission

代码地址

项目地址: http://tech.pingansec.com/granite/project-gravel/-/tree/develop_health_commission/

队列名称及队列地址

优先级队列说明

  • health_commission 支持队列优先级

任务来源

初次: QCC表任务

任务输入参数（样例） 其中company_name必需，province在company_name中能明显获取省份的情况下可以非必须(是省份直辖市，不是市区，市区及以下没做匹配)

{"company_name": "北京市顺义区龙湾屯镇社区卫生服务中心大北坞社区卫生服务站", "province": "北京市"}
{"company_name": "五味堂健康管理（梅州）有限公司五味堂诊所", "province": "广东省"}

任务样例

同上

任务参数说明

{
  "company_name": "五味堂健康管理（梅州）有限公司五味堂诊所",  # 公司名/搜索关键字
  "province": "广东省"                                  # 所属省份级别
}

data_type说明

detail: 详情信息

爬虫结果的超级数据

{
  "data":
  {
    "company_name": "五味堂健康管理（梅州）有限公司五味堂诊所",
    "province": "广东省",
    "authority": "梅州市梅江区卫生健康局",                     # 审批机关
    "login_code": "PDY11600444140217D2112",                # 登记号
    "adress": "梅州市梅江区江北碧桂园天麓商铺C23号店（复式）",
    "medical_departments": "内科  //儿科  //中医科******",    # 诊疗科目
    "level": "未定级",                                      # 级别
    "legal_person": "江算英",                               # 法人
    "principal": "唐芳",                                    # 负责人
    "validity_period": "2019/8/26-至-2024/8/25"            # 执业许可证有效期
  },
  "http_code": 200,
  "error_msg": "",
  "task_result": 1000,
  "data_type": "detail",
  "spider_start_time": "2022-05-17 21:10:04",
  "spider_end_time": "2022-05-17 21:10:16",
  "task_params":
  {
    "company_name": "五味堂健康管理（梅州）有限公司五味堂诊所",
    "province": "广东省"
  },
  "metadata": {},
  "spider_name": "health_commission",
  "spider_ip": "10.8.6.51"
}

实际爬虫结果的数据结构

同上

爬虫运行环境

scrapy

爬虫部署信息

target: 10.8.6.51
spider_name: health_commission 
5个进程

Taskhub相关

任务提交

提交任务地址: http://10.8.6.222:8526/task/

任务提交示例: curl -L -X POST 'http://10.8.6.222:8526/task/' -H 'Content-Type: application/json' --data-raw '{"spider_name": "health_commission","company_name": "五味堂诊所", "province": "广东省"}'
相当于task_params再加入"spider_name": "health_commission"

Taskhub重试调度规则说明

task_result=1000    # 正常获取到详情任务
task_result=1101    # 无结果信息
task_result=9101    # 超时错误，需要进行重试，目前重试5次
task_result=8000    # 参数错误

爬虫监控指标设计

(先观察，待补充)
索引: 
监控频率: 
监控起止时间: 
报警条件: 
报警群:  
报警内容:

数据归集

责任人

数据归集方式

  • 爬虫直接写kafka

  • 爬虫写文件logstash采集

爬虫结果目录

归集后存放目录

/data/227/data2/grvael_spider_result/health_commission

logstash配置文件名称

logstash文件采集type

数据归集的topic

topic_id => ""

ES日志索引及筛选条件

监控指标看板

数据保留策略

数据清洗

责任人

蒋家升

代码地址

代码地址: http://tech.pingansec.com/granite/project-collie-app/-/tree/master/app_health_commission

部署地址

部署方法及说明

  • crontab + data_pump
  • supervisor + data_pump
  • supervisor + consumer

数据接收来源

  • 归集文件，目录位置：/data/227/data2/grvael_spider_result/health_commission

数据存储表地址

  • 数据库地址：bdp-ext.rwlb.rds.aliyuncs.com:3306
  • 表名：bdp_ic_ext.tb_health_commission