基本信息

台湾企业补充

数据名称（中文）

台湾企业

数据英文名称

enterprise_tw

采集网站（采集入口）

官网PC端入口:
https://findbiz.nat.gov.tw/fts/query/QueryBar/queryInit.do

采集文件存放路径：
/data/gravel_spiders/enterprise_tw

采集频率及采集策略

存量更新策略

当前全量更新一轮

增量采集策略

---

爬虫

台湾企业补充爬虫 enterprise_tw_spider

责任人

蒋家升

爬虫名称

enterprise_tw_spider

代码地址

项目地址: 

队列名称及队列地址

• redis host: redis://:utn@0818@bdp-mq-001.redis.rds.aliyuncs.com:6379/0
• redis port: 6379
• redis db: 0
• redis key:
  • enterprise:tw

优先级队列说明

• enterprise:tw 支持队列优先级

任务来源

任务输入参数（样例）

其中banNo（公司编号）为必需

{
    "banNo": "00755029"
  }

任务样例

任务参数说明

{
    "banNo": "00755029"
  }

• 主要参数
  • banNo: 公司编号

data_type说明

detail: 详情信息

爬虫结果的超级数据

同以下实际爬虫结果

实际爬虫结果的数据结构

爬虫运行环境

scrapy

爬虫部署信息

target: 
spider_name: 

Taskhub地址

提交任务地址: 
代码编写地址: 

Taskhub调度规则说明

爬虫监控指标设计

(先观察，待补充)
索引: 
监控频率: 
监控起止时间: 
报警条件: 
报警群:  
报警内容: 

---

数据归集

责任人

数据归集方式

• 爬虫直接写kafka

• 爬虫写文件logstash采集

爬虫结果目录

归集后存放目录

logstash配置文件名称

logstash文件采集type

数据归集的topic

ES日志索引及筛选条件

监控指标看板

数据保留策略

---

数据清洗

责任人

代码地址

部署地址

部署方法及说明

• crontab + data_pump
• supervisor + data_pump
• supervisor + consumer

数据接收来源

数据存储表地址

• 数据库地址：
• 表名：