Skip to content

GitLab

Last edited by yuanbo
Page history
This is an old version of this page. You can view the most recent version or browse the history.

search_ads

基本信息 

se_platform  spider_name   平台名称
baidu_pc     ad_baidu_pc   百度 PC端
baidu_h5     ad_baidu_h5   百度 移动端
360_pc       ad_360_pc     360 PC端
360_h5       ad_360_h5     360 移动端
sougou_pc    ad_sougou_pc  搜狗 PC端
sougou_h5    ad_sougou_h5  搜狗 移动端
shenma       ad_shenma_h5  神马 移动端
toutiao      ad_toutiao_h5 头条 移动端

数据名称（中文）

搜索广告

数据英文名称

search_ads

采集网站（采集入口）

百度h5入口:
https://www.baidu.com/from=844b/s?word=python&ts=8478142&t_kt=0&ie=utf-8&fm_kl=021394be2f&rsv_iqid=2183853714&rsv_t=376a8VEY8%252FDOKsDMkKlCpa2B%252FASIiibUR4bHEz4HRUJlSfO8rYgnUcCdQw&sa=ih_2&ms=1&rsv_pq=2183853714&rsv_sug4=2159&ss=011&tj=1
360 PC入口:
https://www.so.com/s?q=java&src=srp&fr=so.com&psid=69bd05cd22757efaf20f73ad38ab739d
360 H5入口:
https://m.so.com/s?q=python&src=suggest_msearch&sug_pos=0&sug=&nlpv=&ssid=&srcg=home_next

采集频率及采集策略

存量更新策略

db_host: bdp-rds-103.mysql.rds.aliyuncs.com
db_name: aicha_ad
db_user: aicha
db_password: aicha@0611
se_word数据表中任务作为初始任务
逐条更新
目前2周更新一轮

增量采集策略

暂无

爬虫名称以及平台 

spider_name   平台名称
ad_baidu_pc   百度 PC端
ad_baidu_h5   百度 移动端
ad_360_pc     360 PC端
ad_360_h5     360 移动端
ad_sougou_pc  搜狗 PC端
ad_sougou_h5  搜狗 移动端
ad_shenma_h5  神马 移动端
ad_toutiao_h5 头条 移动端

责任人

袁波

代码地址

项目地址:http://192.168.109.110/granite/project-gravel/tree/develop_app_10jqka_20210121/scrapy_spiders/gravel_spiders/spiders

百度移动端: 
项目入口脚本: http://192.168.109.110/granite/project-gravel/blob/develop_app_10jqka_20210121/scrapy_spiders/gravel_spiders/spiders/ad_baidu_h5.py
代码具体实现板块: http://192.168.109.110/granite/project-gravel/tree/develop_app_10jqka_20210121/scrapy_spiders/gravel_spiders/spiders/search_ads_reqs/baidu
(说明: 同理，其它爬虫都根据爬虫名称在同级目录或板块下)

队列名称及队列地址

优先级队列说明

ad_baidu_pc
ad_baidu_h5
ad_360_pc
ad_360_h5
ad_sougou_pc
ad_sougou_h5
ad_shenma_h5
ad_toutiao_h5
说明:无特别处理，都是默认优先级10

任务来源

db_host: bdp-rds-103.mysql.rds.aliyuncs.com
db_name: aicha_ad
db_user: aicha
db_password: aicha@0611
se_word数据表中任务作为初始任务

任务输入参数（样例）

{
    "se_platform": "baidu_h5", 
    "word": "1200目普通硅微粉", 
    "area": "全国"
}
说明: 其它任务同理，填不同的se_platform和word即可

任务样例

{
    "se_platform": "baidu_h5", 
    "word": "1200目普通硅微粉", 
    "area": "全国", 
    "outbound": "ad_all_platform", 
    "routed_count": 1, 
    "submitter": "taskhub", 
    "group_retry_times": 0, 
    "submit_time": "2021-04-15 15:11:02", 
    "token_scope": "ad", 
    "retry_limits": 2, 
    "rt": false, 
    "priority": null, 
    "task_uuid": "c1577311-f58b-4235-8778-ce08d54df889", 
    "retry_times": 0
}
说明: 其它爬虫同理，se_platform和word不同即可

任务参数说明

{
    "se_platform": "baidu_h5", # 平台名称
    "word": "1200目普通硅微粉",  # 搜索关键词
    "area": "全国"              # 广告范围
}
说明: 其它爬虫同理，se_platform和word不同即可

data_type说明

list: 暂未使用
detail: 默认正常出来的广告数据
recommend: 搜索推荐的关键词

爬虫结果的超级数据

{
	"data": [{
		"find_time": "2021-06-21 10:38:57",
		"index": 1,
		"match_word": "周口师范学院,专业,院校",
		"land_url": "https://kaoyan.gaodun.com/2022ky/m/?x_field_1=yMz2eyQ7zuueZFnmue&userid=3054421673&planid=3351335152&unitid=921677877&kwdid=39873900866&adid=5571563434&data_industry=ocpc_ms_convert&fromPlatform=qihoo360&qhclickid=014dbd21e67eacd2",
		"title": "周口师范学院考研_报名条件及考试方式_点击进入",
		"ad_content": "周口师范学院考研 高顿考研全新学习模式,定向辅导班,专业课名校师资授课,全程.精准考点答疑,实力的名校师资辅导,实时的院校招录信息,考研上名校高顿更专业!"
	}],
	"http_code": 200,
	"error_msg": "",
	"task_result": 1000,
	"data_type": "detail",
	"spider_start_time": "2021-06-21 10:39:24.062",
	"spider_end_time": "2021-06-21 10:39:34.150",
	"task_params": {
		"se_platform": "360_h5",
		"word": "周口师范学院专业排名",
		"area": "全国",
		"outbound": "ad_all_platform",
		"routed_count": 1,
		"submitter": "taskhub",
		"group_retry_times": 0,
		"submit_time": "2021-06-19 16:21:02",
		"token_scope": "ad",
		"retry_limits": 2,
		"rt": false,
		"priority": null,
		"task_uuid": "5110a910-0e42-4df5-957a-cf8c2a3cf79e",
		"retry_times": 0
	},
	"metadata": {},
	"spider_name": "ad_360_h5",
	"spider_ip": "10.8.6.57"
}

实际爬虫结果的数据结构

{
	"data": [{
		"find_time": "2021-06-21 10:38:57",
		"index": 1,
		"match_word": "周口师范学院,专业,院校",
		"land_url": "https://kaoyan.gaodun.com/2022ky/m/?x_field_1=yMz2eyQ7zuueZFnmue&userid=3054421673&planid=3351335152&unitid=921677877&kwdid=39873900866&adid=5571563434&data_industry=ocpc_ms_convert&fromPlatform=qihoo360&qhclickid=014dbd21e67eacd2",
		"title": "周口师范学院考研_报名条件及考试方式_点击进入",
		"ad_content": "周口师范学院考研 高顿考研全新学习模式,定向辅导班,专业课名校师资授课,全程.精准考点答疑,实力的名校师资辅导,实时的院校招录信息,考研上名校高顿更专业!"
	}],
	"http_code": 200,
	"error_msg": "",
	"task_result": 1000,
	"data_type": "detail",
	"spider_start_time": "2021-06-21 10:39:24.062",
	"spider_end_time": "2021-06-21 10:39:34.150",
	"task_params": {
		"se_platform": "360_h5",
		"word": "周口师范学院专业排名",
		"area": "全国",
		"outbound": "ad_all_platform",
		"routed_count": 1,
		"submitter": "taskhub",
		"group_retry_times": 0,
		"submit_time": "2021-06-19 16:21:02",
		"token_scope": "ad",
		"retry_limits": 2,
		"rt": false,
		"priority": null,
		"task_uuid": "5110a910-0e42-4df5-957a-cf8c2a3cf79e",
		"retry_times": 0
	},
	"metadata": {},
	"spider_name": "ad_360_h5",
	"spider_ip": "10.8.6.57"
}

爬虫运行环境

scrapy

爬虫部署信息

10.8.6.62
    baidu_pc    10个进程
    baidu_h5    5个进程
    360_pc      10个进程
    360_h5      5个进程
    sougou_pc   10个进程
    sougou_h5   5个进程
    shenma      5个进程

Taskhub地址

提交任务地址: http://10.8.6.222:18518/task/
代码编写地址: http://192.168.109.110/granite/project-taskhub/blob/master/taskhub/config/ad/config_ad.d/01_task.yaml

Taskhub调度规则说明

task_result=1000    # 正常获取到详情任务
task_result=1101    # 本条关键词没有搜索到广告数据
task_result=9101    # 超时错误，需要进行重试，目前重试5次
task_result=8000    # 参数错误

爬虫监控指标设计

索引: ad_spider_log-*
爬虫名称: ad_baidu_pc
监控频率: 每4小时监控一次
监控起止时间: 6:00到20:00
报警条件: ad_baidu_pc爬虫,4小时内task_result=1000的量少于50w条
报警群:  "爱查数据报警"群
报警模板:【报警】ad_baidu_pc数据量监测_近4小时成功数低于50w条

索引: ad_spider_log-*
爬虫名称: ad_baidu_h5
监控频率: 每4小时监控一次
监控起止时间: 6:00到20:00
报警条件: ad_baidu_h5爬虫,4小时内task_result=1000的量少于8w条
报警群:  "爱查数据报警"群
报警模板:【报警】ad_baidu_h5数据量监测_近4小时成功数低于8w条

索引: ad_spider_log-*
爬虫名称: ad_360_pc
监控频率: 每4小时监控一次
监控起止时间: 6:00到20:00
报警条件: ad_360_pc爬虫,4小时内task_result=1000的量少于50w条
报警群:  "爱查数据报警"群
报警模板:【报警】ad_360_pc数据量监测_近4小时成功数低于50w条

索引: ad_spider_log-*
爬虫名称: ad_sougou_pc
监控频率: 每4小时监控一次
监控起止时间: 6:00到20:00
报警条件: ad_sougou_pc爬虫,4小时内task_result=1000的量少于40w条
报警群:  "爱查数据报警"群
报警模板:【报警】ad_sougou_pc数据量监测_近4小时成功数低于40w条

索引: ad_spider_log-*
爬虫名称: ad_shenma_h5
监控频率: 每4小时监控一次
监控起止时间: 6:00到20:00
报警条件: ad_shenma_h5爬虫,4小时内task_result=1000的量少于3w条
报警群:  "爱查数据报警"群
报警模板:【报警】ad_shenma_h5数据量监测_近4小时成功数低于3w条

报警模板:
索引: ad_spider_log-*          
爬虫名称: adbug
监控频率: 每日中午11点监控一次
监控起止时间: 过去12个小时
报警条件: 请求adbug失败率（9008、9000）大于5%(失败总数>100时生效)
报警群:  "爱查数据报警"群
报警模板
【报警】adbug数据量监测_近12小时adbug失败率大于5%(且超过100条)

爬虫待采集结果目录

/data/b2b_spider_data/ad_5118
/data/b2b_spider_data/baidu_v
/data/b2b_spider_data/baidu_ad_v2
/data/gravel_spiders/ad_baidu_pc
/data/gravel_spiders/ad_baidu_h5
/data/gravel_spiders/ad_360_pc
/data/gravel_spiders/ad_360_h5
/data/gravel_spiders/ad_sougou_pc
/data/gravel_spiders/ad_sougou_h5
/data/gravel_spiders/ad_shenma_h5
/data/gravel_spiders/ad_toutiao_h5

数据归集

责任人

范召贤

数据归集方式

  • 爬虫直接写kafka

  • 爬虫写文件logstash采集

归集后存放目录

/data2_227/ad_spider_result/ad_5118       5118网站
/data2_227/ad_spider_result/baidu_ad_v2   百度 PC端（旧）
/data2_227/ad_spider_result/baidu_v       baidu_v
/data2_227/ad_spider_result/ad_baidu_pc   百度 PC端（新）
/data2_227/ad_spider_result/ad_baidu_h5   百度 移动端
/data2_227/ad_spider_result/ad_360_pc     360 PC端
/data2_227/ad_spider_result/ad_360_h5     360 移动端
/data2_227/ad_spider_result/ad_sougou_pc  搜狗 PC端
/data2_227/ad_spider_result/ad_sougou_h5  搜狗 移动端
/data2_227/ad_spider_result/ad_shenma_h5  神马 移动端
/data2_227/ad_spider_result/ad_toutiao_h5 头条 移动端

logstash配置文件名称

project-deploy/logstash/10.8.6.229/conf.d/collie_spider_data_to_kfk.conf

logstash文件采集type

collie-spider-aicha-ad

数据归集的topic

collie-ad-result

ES日志索引及筛选条件

ad_spider_log-*

监控指标看板

数据保留策略

数据清洗

责任人

代码地址

部署地址

部署方法及说明

  • crontab + data_pump
  • supervisor + data_pump
  • supervisor + consumer

数据接收来源

数据存储表地址

  • 数据库地址：
  • 表名：