基本信息

天下信用爬虫
通过任务中公司和人的名称进行查询

数据名称（中文）

天下信用app_人员数据

数据英文名称

txxy_app

采集网站（采集入口）

app数据接口:
https://api.tianxiaxinyong.cn/cr/corp/report/fetch/data

采集频率及采集策略

存量更新策略

db_host: bdp-rds-003.mysql.rds.aliyuncs.com
db_name: utn_ng_biz_info
db_user: shuidi
db_password: 

增量采集策略

---

爬虫

天下信用爬虫 txxy_app

责任人

杨龙斌

爬虫名称

txxy_app

代码地址

项目地址:http://tech.pingansec.com/granite/project-gravel/-/tree/develop_general_taxpayer/scrapy_spiders/gravel_spiders/spiders

队列名称及队列地址

• redis host: redis://:utn@0818@bdp-mq-001.redis.rds.aliyuncs.com:6379/7
• redis port: 6379
• redis db: 7
• redis key:
  • txxy_app

优先级队列说明

• txxy_app 支持队列优先级

任务来源

任务输入参数（样例）

{
  "company_name": "上海东安国际旅行社有限公司",
  "legal_person": "张锡华"
}

任务样例

任务参数说明

{
  "company_name": "上海东安国际旅行社有限公司",
  "legal_person": "张锡华"
}

data_type说明

detail: 详情信息

爬虫结果的超级数据

实际爬虫结果的数据结构

爬虫运行环境

scrapy

爬虫部署信息

Taskhub地址

Taskhub调度规则说明

task_result=1000    # 正常获取到详情任务
task_result=1101    # 无结果信息
task_result=9101    # 超时错误，需要进行重试，目前重试5次
task_result=8000    # 参数错误

爬虫监控指标设计

(先观察，待补充)
索引: 
监控频率: 
监控起止时间: 
报警条件: 
报警群:  
报警内容: 

---

数据归集

责任人

范召贤

数据归集方式

• 爬虫直接写kafka

• 爬虫写文件logstash采集

爬虫结果目录

/data/gravel_spiders/general_taxpayer

归集后存放目录

/data2_227/grvael_spider_result/general_taxpayer

logstash配置文件名称

project-deploy/logstash/10.8.6.246/conf.d/collie_spider_data_to_kfk.conf(入topic)
project-deploy/logstash/10.8.6.229/conf.d/grvael_spider_to_es.conf(入es)

logstash文件采集type

type=>"general-taxpayer"

数据归集的topic

topic_id => "general-taxpayer"

ES日志索引及筛选条件

index => "public-company-spider-data-%{log_date}"
{
  "query": {
    "match": {
      "spider_name.keyword": {
        "query": "general_taxpayer",
        "type": "phrase"
      }
    }
  }
}

监控指标看板

数据保留策略

---

数据清洗

责任人

代码地址

部署地址

部署方法及说明

• crontab + data_pump
• supervisor + data_pump
• supervisor + consumer

数据接收来源

数据存储表地址

• 数据库地址：
• 表名：