| ... | ... | @@ -296,10 +296,31 @@ task_result=8000 # 参数错误 |
|
|
|
- [x] 爬虫写文件logstash采集
|
|
|
|
|
|
|
|
## 爬虫结果目录
|
|
|
|
/data/b2b_spider_data/ad_5118
|
|
|
|
/data/b2b_spider_data/baidu_v
|
|
|
|
/data/b2b_spider_data/baidu_ad_v2
|
|
|
|
/data/gravel_spiders/ad_baidu_pc
|
|
|
|
/data/gravel_spiders/ad_baidu_h5
|
|
|
|
/data/gravel_spiders/ad_360_pc
|
|
|
|
/data/gravel_spiders/ad_360_h5
|
|
|
|
/data/gravel_spiders/ad_sogou_pc
|
|
|
|
/data/gravel_spiders/ad_sogou_h5
|
|
|
|
/data/gravel_spiders/ad_shenma_h5
|
|
|
|
/data/gravel_spiders/ad_toutiao_h5
|
|
|
|
|
|
|
|
## 归集后存放目录
|
|
|
|
/data2_227/ad_spider_result/ad_360_h5
|
|
|
|
/data2_227/ad_spider_result/ad_5118 5118网站
|
|
|
|
/data2_227/ad_spider_result/baidu_ad_v2 百度 PC端（旧）
|
|
|
|
/data2_227/ad_spider_result/baidu_v baidu_v
|
|
|
|
/data2_227/ad_spider_result/ad_baidu_pc 百度 PC端（新）
|
|
|
|
/data2_227/ad_spider_result/ad_baidu_h5 百度 移动端
|
|
|
|
/data2_227/ad_spider_result/ad_360_pc 360 PC端
|
|
|
|
/data2_227/ad_spider_result/ad_360_h5 360 移动端
|
|
|
|
/data2_227/ad_spider_result/ad_sougou_pc 搜狗 PC端
|
|
|
|
/data2_227/ad_spider_result/ad_sougou_h5 搜狗 移动端
|
|
|
|
/data2_227/ad_spider_result/ad_shenma_h5 神马 移动端
|
|
|
|
/data2_227/ad_spider_result/ad_toutiao_h5 头条 移动端
|
|
|
|
|
|
|
|
|
|
|
|
## logstash配置文件名称
|
|
|
|
project-deploy/logstash/10.8.6.229/conf.d/collie_spider_data_to_kfk.conf
|
| ... | ... | |
