基本信息

数据名称（中文）

福建欠税公告

数据英文名称

tax_arrears_announcement

采集网站（采集入口）

https://etax.fujian.chinatax.gov.cn/tycx-cjpt-web/view/sscx/gzcx/qsqycx/qsqycx.jsp?cdId=dlqcd-15&gnDm=dlqcd.gzcx.qsqycx&gdslxDm=1

采集频率及采集策略

存量更新策略

每周三更新一次

增量采集策略

每次从头到尾运行一遍，去重得到增量数据

---

爬虫

责任人

章一锋

爬虫名称

tax_arrears_announcement

代码地址

http://tech.pingansec.com/granite/project-gravel/-/tree/develop_tax_arrears_announcement/scrapy_spiders/gravel_spiders/spiders/tax_arrears_announcement/fujian

队列名称及队列地址

* redis host: redis://:utn@0818@bdp-mq-001.redis.rds.aliyuncs.com:6379/7
* redis port: 6379
* redis db: 7
* redis key: tax_arrears_announcement

优先级队列说明

任务来源

任务数据：http://tech.pingansec.com/granite/project-gravel/-/blob/develop_tax_arrears_announcement/app_tax_arrears_announcement/data_dump/task.txt
导入任务配置文件路径：http://tech.pingansec.com/granite/project-gravel/-/blob/develop_tax_arrears_announcement/app_tax_arrears_announcement/data_dump/tax_arrears_announcement.yml

任务输入参数（样例）

任务样例

{
 "city": "fujian",        # 城市
 "task_type": "task",      # 任务类型
}

任务参数说明

data_type说明

  detail: 表示详情数据

爬虫结果的超级数据

{
  "data": {
  	"fbsj": "2021-10-09",
  	"fddbrxm": "朱如标",
  	"nsrmc": "连江县凤城镇文山李园飞龙数码产品店",
  	"nsrsbh": "350122**********5601",
  	"qsye": "4257.0",
  	"scjydz": "连江县凤城镇凤尾村温麻路103号",
  	"zgswjgmc": "国家税务总局连江县税务局",
  	"zjhm": "350122********2756",
  	"zsxmmc": "个人所得税,城市维护建设税,增值税"
  },
  "data_type": "detail",
  "error_msg": "",
  "http_code": 200,
  "metadata": {},
  "spider_end_time": "2021-11-24 14:20:29",
  "spider_ip": "192.168.124.177",
  "spider_name": "tax_arrears_announcement",
  "spider_start_time": "2021-11-24 14:20:22.940",
  "task_params": {
  	"city": "fujian",
  	"end_date": "2021-10-31",
  	"task_type": "task"
  },
  "task_result": 1000
}

实际爬虫结果的数据结构

爬虫运行环境

scrapy

爬虫部署信息

爬虫运行机器：10.8.6.51
进程数：30
项目名称：tax_arrears_announcement
任务提交机器：10.8.6.63
任务提交方式：crontab

Taskhub地址

http://tech.pingansec.com/granite/project-taskhub/-/blob/master/taskhub/config/gravel/config.d/tax_arrears_announcement.yml

Taskhub调度规则说明

task_result为以下值时被过滤：
  - 1000
  - 1101
  - 1102
  - 2001
  - 7000
  - 9300
其他值的任务都会被放入队列

爬虫监控指标设计

爬虫待采集结果目录

---

/data/gravel_spiders/tax_arrears_announcement

数据归集

责任人

数据归集方式

• 爬虫直接写kafka

• [ x ] 爬虫写文件logstash采集

  归集后存放目录

  logstash配置文件名称

  logstash文件采集type

  数据归集的topic

  general-taxpayer

  ES日志索引及筛选条件

  gravel-spider-data*  spider_name is tax_arrears_announment city is fujian

监控指标看板

数据保留策略

---

数据清洗

责任人

代码地址

部署地址

部署方法及说明

• crontab + data_pump

• supervisor + data_pump

• supervisor + consumer

  数据接收来源

  数据存储表地址

  • 数据库地址：
  • 表名：