yuanbo基本信息
爬虫整体说明
根据tb_vip和tb_svip表中的qcc_pid获取老板头像，根据ppid存储到文件服务器， 链接等存储到tb_person_photo里面task_result说明
task_result=1000 所有搜索到的，推荐的，都标记为1000
task_result=9110, 404状态码表示没找到该图片字段说明
状态码特别说明
1000 正常获取到数据
9110 404状态码表示没找到该图片数据名称（中文）
boss头像数据英文名称
boss_avatar采集网站（采集入口）
图片采集位置
https://image.qcc.com/person/pc4eb763297cf4b8076c2e0d2fe64617.jpg采集频率及采集策略
存量更新策略
遍历表中接近80w条数据即可增量采集策略
责任人
袁波爬虫名称
boss_avatar代码地址
项目地址:
http://office.pingansec.com:30080/granite/project-gravel/-/tree/boss_avatar_20220406
## 队列名称及队列地址
<!--redis host port db key 优先级说明-->
-
* redis host: redis://:utn@0818@bdp-mq-001.redis.rds.aliyuncs.com:6379/7
* redis port: 6379
* redis db: 7
* redis key:
* boss_avatar:10
搜索-任务输入参数（样例）
{
"person_id": 1552869,
"person_name": "马云",
"ppid": "172098281c644dbe9311cba42eb1b8ce",
"qcc_pid": "pc4eb763297cf4b8076c2e0d2fe64617"
}data_type说明
实际爬虫结果的数据结构
爬虫运行环境
scrapy爬虫部署信息
crontab任务对应机器collie用户: 待添加
爬虫部署机器: 10.8.6.19 10个进程Taskhub地址
Taskhub调度规则说明
爬虫监控指标设计
爬虫待采集结果目录
/data/gravel_spiders/boss_avatar数据归集
责任人
范召贤数据归集方式
-
爬虫直接写kafka
-
爬虫写文件logstash采集
爬虫结果目录
归集后存放目录
/data2_227/grvael_spider_result/boss_avatarlogstash配置文件名称
project-deploy/logstash/10.8.6.246/conf.d/collie_spider_data_to_kfk.conf(入topic)
project-deploy/logstash/10.8.6.229/conf.d/grvael/grvael_spider_to_es.conf(入es)logstash文件采集type
type=>"boss_avatar"数据归集的topic
topic_id => "general-taxpayer"ES日志索引及筛选条件
index => "gravel-spider-data-%{log_date}" 错误
index => "gravel_spider_data-%{log_date}" 正确监控指标看板
数据保留策略
数据清洗
责任人
代码地址
部署地址
部署方法及说明
- crontab + data_pump
- supervisor + data_pump
- supervisor + consumer
数据接收来源
归集的文件