Skip to content

GitLab

Last edited by 章一锋
Page history

guangxi

基本信息

数据名称（中文）

广西欠税公告

数据英文名称

tax_arrears_announcement

采集网站（采集入口）

https://etax.guangxi.chinatax.gov.cn:9723/web/selectDM_ZJ_GG.do

采集频率及采集策略

存量更新策略

每周更新一次

增量采集策略

每次从头到尾运行一遍，去重得到增量数据

爬虫

责任人

章一锋

爬虫名称

tax_arrears_announcement

代码地址

http://tech.pingansec.com/granite/project-gravel/-/tree/develop_tax_arrears_announcement/scrapy_spiders/gravel_spiders/spiders/tax_arrears_announcement/guangxi

队列名称及队列地址

* redis host: redis://:utn@0818@bdp-mq-001.redis.rds.aliyuncs.com:6379/7
* redis port: 6379
* redis db: 7
* redis key: tax_arrears_announcement

优先级队列说明

任务来源

任务数据：http://tech.pingansec.com/granite/project-gravel/-/blob/develop_tax_arrears_announcement/app_tax_arrears_announcement/data_dump/task.txt
导入任务配置文件路径：http://tech.pingansec.com/granite/project-gravel/-/blob/develop_tax_arrears_announcement/app_tax_arrears_announcement/data_dump/tax_arrears_announcement.yml

任务输入参数（样例）

任务样例

{
"city": "guangxi",          # 城市
"operate": "all",           # 指定全量还是增量，目前还没有增量逻辑，用全量来做增量
"task_type": "task",       
"taxpayer_type": '企业'      # 指定企业还是个体工商户
}

任务参数说明

data_type说明

  list: 用于生成列表任务
  detail: 表示详情数据

爬虫结果的超级数据

{
  "task_params": {
  	"submit_time": "2021-10-22 16:06:28",
  	"operate": "all",
  	"rt": false,
  	"retry_times": 0,
  	"outbound": "guangxi_task_distribution",
  	"task_type": "period",
  	"city": "guangxi",
  	"routed_count": 1,
  	"token_scope": "guangxi_task_distribution",
  	"task_uuid": "b4742116-5219-4537-b3be-52d47674d163",
  	"period": "2021年第2期",
  	"group_retry_times": 0,
  	"priority": null,
  	"retry_limits": 5,
  	"submitter": "taskhub"
  },
  "spider_start_time": "2021-10-22 16:06:51.347",
  "@timestamp": "2021-10-22T08:06:56.883Z",
  "host": "bdp-ls-002",
  "@version": "1",
  "spider_name": "tax_arrears_announcement",
  "http_code": 200,
  "data": {
  	"BNXQ_QSFSSJ": "",
  	"JYDD": "广西河池市都安瑶族自治县高岭镇三联村下庙队10号",
  	"SWJG_MC": "国家税务总局都安瑶族自治县税务局",
  	"QYLX": "个体",
  	"TOTAL": "42",
  	"XH": "2104300798",
  	"FDDBR_MC": "刘凤云",
  	"GGRQ": "2021-04-30 10:07:07",
  	"SFZJHM": "452730********2983",
  	"QSSZ": "城市维护建设税",
  	"SWJG_DM": "14512280000",
  	"ROWNO": "39",
  	"BNXQ_QSCY": "",
  	"NSRSBH": "92451228MA5MR6181F",
  	"WNCQ_QSCY": "",
  	"BNXQ_QSJE": "34.69",
  	"NSRMC": "都安昌明建材经营部",
  	"WNCQ_QSFSSJ": "",
  	"GGSQ": "2021年第2期",
  	"ZZJG_MC": "",
  	"WNCQ_QSYE": "34.69"
  },
  "path": "/data/gravel_spiders/tax_arrears_announcement/BDP-C-1001_10.8.6.51/16791.json",
  "task_result": 1000,
  "type": "tax_arrears_announcement",
  "data_type": "detail",
  "metadata": {
  	"page_num": 4
  },
  "spider_end_time": "2021-10-22 16:06:52",
  "error_msg": "",
  "spider_ip": "10.8.6.51"
}

实际爬虫结果的数据结构

爬虫运行环境

scrapy

爬虫部署信息

爬虫运行机器：10.8.6.51
进程数：30
项目名称：tax_arrears_announcement
任务提交机器：10.8.6.63
任务提交方式：crontab

Taskhub地址

http://tech.pingansec.com/granite/project-taskhub/-/blob/master/taskhub/config/gravel/config.d/tax_arrears_announcement.yml

Taskhub调度规则说明

task_result为以下值时被过滤：
  - 1000
  - 1101
  - 1102
  - 2001
  - 7000
  - 9300
其他值的任务都会被放入队列

爬虫监控指标设计

爬虫待采集结果目录

/data/gravel_spiders/tax_arrears_announcement

数据归集

责任人

数据归集方式

  • 爬虫直接写kafka

  • [ x ] 爬虫写文件logstash采集

    归集后存放目录

    logstash配置文件名称

    logstash文件采集type

    数据归集的topic

    general-taxpayer

    ES日志索引及筛选条件

    gravel-spider-data*  spider_name is tax_arrears_announment city is guangxi

监控指标看板

数据保留策略

数据清洗

责任人

代码地址

部署地址

部署方法及说明

  • crontab + data_pump

  • supervisor + data_pump

  • supervisor + consumer

    数据接收来源

    数据存储表地址

    • 数据库地址：
    • 表名：