基本信息

爬虫整体说明

select qc_id, `fid` as qcc_fid, `company_name`, `credit_no`, `company_code` from vw_qcc_company where $CONDITIONS and company_status='存续（在营、开业、在册）' limit 10000;
结果存储到tb_company_logo

task_result说明

task_result=1000  所有搜索到的，推荐的，都标记为1000
task_result=9110, 404状态码表示没找到该图片

字段说明

状态码特别说明

1000 正常获取到数据
9110 404状态码表示没找到该图片

数据名称（中文）

company_logo  公司的logo

数据英文名称

company_logo

采集网站（采集入口）

图片采集位置
https://image.qcc.com/auto/4df49a96dbd5ab912cba997813197fd3.jpg?x-oss-process=style/logo_200

存储到公司服务器之后的访问地址
http://101.133.135.104:31010/open/logo/f5/8a/0e/f58a0e0fbf5c8cde889675133e5c29ab.jpg

采集频率及采集策略

存量更新策略

表总计接近2亿条数据， "存续"的数据量应该比较多，先跑跑看看效果。

增量采集策略

---

责任人

袁波

爬虫名称

company_logo

代码地址

项目地址:
外网访问
http://office.pingansec.com:30080/granite/project-gravel/-/tree/company_logo_20220606   
公司网络访问
http://tech.pingansec.com/granite/project-gravel/-/tree/company_logo_20220606

## 队列名称及队列地址
<!--redis host port db key 优先级说明-->
-
* redis host: redis://:utn@0818@bdp-mq-001.redis.rds.aliyuncs.com:6379/7
* redis port: 6379
* redis db: 7
* redis key: 
    * company_logo:10

搜索-任务输入参数（样例）

{
    "qc_id": 3,
	"qcc_fid": "4df49a96dbd5ab912cba997813197fd3",
	"company_name": "素艺服装（上海）有限公司",
	"credit_no": "91310104580578932D",
	"company_code": "310104000495282",
}

data_type说明

实际爬虫结果的数据结构

{
	"data": [{
		"qc_id": 3,
		"qcc_fid": "4df49a96dbd5ab912cba997813197fd3",
		"company_name": "素艺服装（上海）有限公司",
		"credit_no": "91310104580578932D",
		"company_code": "310104000495282",
		"logo_url": "logo/f5/8a/0e/f58a0e0fbf5c8cde889675133e5c29ab.jpg"
	}],
	"http_code": 200,
	"error_msg": "",
	"task_result": 1000,
	"data_type": "detail",
	"spider_start_time": "2022-06-07 10:47:37.181",
	"spider_end_time": "2022-06-07 10:47:47.564",
	"task_params": {
		"qc_id": 3,
		"qcc_fid": "4df49a96dbd5ab912cba997813197fd3",
		"company_name": "素艺服装（上海）有限公司",
		"credit_no": "91310104580578932D",
		"company_code": "310104000495282"
	},
	"metadata": {},
	"spider_name": "company_logo",
	"spider_ip": "192.168.108.157",
	"proxy_ip": "http://101.133.174.56:1805"
}

爬虫运行环境

scrapy

爬虫部署信息

crontab任务对应机器collie用户:   待添加
爬虫部署机器:  10.8.6.19   10个进程

Taskhub地址

Taskhub调度规则说明

爬虫监控指标设计

爬虫待采集结果目录

/data/gravel_spiders/company_logo

---

数据归集

责任人

范召贤

数据归集方式

• 爬虫直接写kafka

• 爬虫写文件logstash采集

爬虫结果目录

归集后存放目录

/data2_227/grvael_spider_result/company_logo

logstash配置文件名称

project-deploy/logstash/10.8.6.246/conf.d/collie_spider_data_to_kfk.conf(入topic)
project-deploy/logstash/10.8.6.229/conf.d/grvael/grvael_spider_to_es.conf(入es)

logstash文件采集type

type=>"company_logo"

数据归集的topic

topic_id => "general-taxpayer"

ES日志索引及筛选条件

index => "gravel-spider-data-%{log_date}"

监控指标看板

数据保留策略

---

数据清洗

责任人

代码地址

部署地址

部署方法及说明

• crontab + data_pump
• supervisor + data_pump
• supervisor + consumer

数据接收来源

归集的文件

数据存储表地址