Skip to content

GitLab

Last edited by 蒋家升
Page history

cods

基本信息 

cods统一信用代码

数据名称（中文）

cods统一信用代码

数据英文名称

cods

采集网站（采集入口）

列表搜索入口: 小程序搜 `统一代码查询`
详情入口:    [分享接口](https://ss.cods.org.cn/mobile/shareDetail/3b55bbe604606fe06d2b67249484d862/ACB40B50FAA04EF0908253CFF7CA1C9A)

采集文件存放路径：
/data/gravel_spiders/cods

采集频率及采集策略

存量更新策略


目前全量更新一轮即可.

增量采集策略

# REMARK(2022-08-10): 当前任务为以事业单位等特殊企业表的存量数据作任务源

爬虫 

cods统一信用代码爬虫 cods

责任人

蒋家升

爬虫名称

cods_spider

代码地址

项目地址: http://tech.pingansec.com/granite/project-gravel/-/tree/develop_cods/scrapy_spiders

队列名称及队列地址

优先级队列说明

  • cods 支持队列优先级

任务来源

任务输入参数（样例）

  • 搜索任务

    {"search_key": "肯德基"}

  • 详情任务

    {"uid": "ee6915e9e708027dc6256edd6521d705","source": "normal"}

任务样例

任务参数说明

{"search_key": "肯德基"}

{"uid": "ee6915e9e708027dc6256edd6521d705","source": "normal"}
  • 主要参数
    • search_key: 搜索关键字，一般为公司，支持credit_no
    • uid: 企业的唯一标识id

data_type说明

list_search: 列表搜索，data只有一个列表存放多个uid
detail_share: 详情_分享接口，仅有基本信息

爬虫结果的超级数据

同以下实际爬虫结果

实际爬虫结果的数据结构

{
  "data":
  {
    "name": "国家统计局成都调查队",
    "legal_person": "王学华",
    "capital": "2937.52万元(人民币元)",
    "establish_date": "未公示",
    "company_status": "正常",
    "credit_no": "12510000660257303P",
    "reg_no": "未公示",
    "address": "成都市高新区锦城大道366号2号楼20楼",
    "org_type": "事业单位",
    "authority": "四川省事业单位登记管理局",
    "operation_start": "2019-10-16",
    "operation_end": "2024-10-16",
    "econ_industry": "未公示",
    "business_scope": "为地方政府决策及社会需求提供城市、农村社会经济调查信息和企业调查信息；常规统计调查；专稿项统计调查；快速反应制度调查；重大经济社会问题调查；经济分析研究；统计信息咨询服务；统计执法；国家统计局成都调查队建设和管理。",
    "source_update_date": "未公示"
  },
  "http_code": 200,
  "error_msg": "",
  "task_result": 1000,
  "data_type": "detail_share",
  "spider_start_time": "2022-08-10 17:17:43.281011",
  "spider_end_time": "2022-08-10 17:17:45",
  "task_params": {"uid": "2390b564316a9a14f427fc95a5689c9a","source": "normal"},
  "metadata": {},
  "spider_name": "cods",
  "spider_ip": "192.168.108.74"
}

data 字段映射

爬虫运行环境

scrapy

爬虫部署信息

target: BDP-C-1001,
spider_name: cods
5个进程

Taskhub相关

任务提交

提交任务地址: http://10.8.6.222:8526/task/

任务提交示例: curl -L -X POST 'http://10.8.6.222:8526/task/' -H 'Content-Type: application/json' --data-raw '{"spider_name": "cods", "uid": "ee6915e9e708027dc6256edd6521d705","source": "normal"}'
相当于task_params再加入"spider_name": "cods"

Taskhub重试调度规则说明

task_result=1000    # 正常获取到详情任务
task_result=1101    # 无结果信息
task_result=9101    # 超时错误，需要进行重试，目前重试5次
task_result=8000    # 参数错误

爬虫监控指标设计

(先观察，待补充)
索引: 
监控频率: 
监控起止时间: 
报警条件: 
报警群:  
报警内容:

数据归集

责任人

数据归集方式

  • 爬虫直接写kafka

  • 爬虫写文件logstash采集

爬虫结果目录

采集文件存放路径：
/data/gravel_spiders/cods

归集后存放目录

logstash配置文件名称

logstash文件采集type

数据归集的topic

ES日志索引及筛选条件

监控指标看板

数据保留策略

数据清洗

责任人

蒋家升

代码地址

代码地址: http://tech.pingansec.com/granite/project-collie-app/-/tree/master/app_cods

部署地址

部署方法及说明

  • crontab + data_pump
  • supervisor + data_pump
  • supervisor + consumer

数据接收来源

  • 归集文件，目录位置：/data/227/data2/grvael_spider_result/cods

数据存储表地址

  • 数据库地址：bdp-ext.rwlb.rds.aliyuncs.com:3306
  • 表名：bdp_ic_ext.ods_cods_base_info