Skip to content

GitLab

picture_download.md · Changes

Page history
update credit china data authored by 杨龙斌's avatar 杨龙斌
Hide whitespace changes
Inline Side-by-side
Showing with 67 additions and 71 deletions
data_stream/picture_download.md.md
View page @ ca451686
# **基本信息**
## 数据名称（中文）
<!-- 该项数据的中文标准名称，后续沟通交流使用的规范名称，如：工商公示股东信息、失信被执行人、一般纳税人等-->
图片下载
## 数据英文名称
<!--英文名称，后续流程中所有涉及到英文名称均以此为准，如：partner、shixin、general_taxpayer等-->
picture_download
## 采集网站（采集入口）
<!--采集的入口地址，不能只是一个网站域名，具体到该网站的数据入口-->
<!--采集的入口地址，不能只是一个网站域名，具体到该网站的数据入口-->
## 采集频率及采集策略
<!--说明该项数据更新频率，存量数据的更新频率及策略、新增数据的采集频率及策略-->
根据具体任务决定
### 存量更新策略
<!--无需更新？每天全量更新？逐条轮询更新？多久更新完一轮？或其他-->
<!--无需更新？每天全量更新？逐条轮询更新？多久更新完一轮？或其他-->
### 增量采集策略
<!--新增数据怎么来？无需单独采集新增数据？-->
---
......@@ -31,18 +32,21 @@ picture_download
# **爬虫**
## 责任人
董雨峰
董雨峰
## 爬虫名称
<!--spider_name-->
picture_download
## 代码地址
<!--爬虫的具体代码地址，不是代码所在的项目，要具体到模块或脚本文件-->
http://tech.pingansec.com/granite/project-gravel/-/tree/develop_dyf/app_picture_download/udms/app_spider
## 队列名称及队列地址
<!--redis host port db key 优先级说明-->
* redis host: bdp-mq-001.redis.rds.aliyuncs.com
......@@ -52,42 +56,45 @@ http://tech.pingansec.com/granite/project-gravel/-/tree/develop_dyf/app_picture_
### 优先级队列说明
## 任务来源
<!--说明爬虫任务的输入。如：来自某个数据库表等。如果来自某个数据库表则应该简要说明该表内的数据是如何维护的。-->
* 由使用方掉taskhub 接口输入
## 任务输入参数（样例）
```json
{
"spider_name":"picture_download",
"key": "",
"url": "",
"bucket": "patent",
"proxy":1,
"spider_name": "picture_download",
"key": "",
"url": "",
"bucket": "patent",
"proxy": 1,
"keep_msg": {
"keep_key": "keep_value"
}
}
```
### 任务样例
<!--注意是爬虫拿到的完整任务，而不仅仅是task_params-->
```json
{
"key": "",
"url": "",
"bucket": "patent",
"proxy":1,
{
"key": "",
"url": "",
"bucket": "patent",
"proxy": 1,
"keep_msg": {
"keep_key": "keep_value"
}
}
```
### 任务参数说明
<!--特有参数说明，通用参数比如spider_name,task_params,task_src,task_result等不需说明-->
```
......@@ -95,48 +102,48 @@ http://tech.pingansec.com/granite/project-gravel/-/tree/develop_dyf/app_picture_
"url": 图片url
"bucket": 图片来源
"proxy": 是否使用代理，1为使用，0为不使用，默认为1
"keep_msg": 可选参数,这个字段会被保留到结果里面
```
## data_type说明
<!--可能产生的data_type说明-->
<!--可能产生的data_type说明-->
## 爬虫结果的超级数据
<!--包含所有字段的json数据，每个value都要有样例值-->
```json
{
"spider_name": "picture_download",
"platform_name": "picture",
"http_code": 200,
"error_msg": "successful",
"task_result": 1000,
"data_type": "",
"bucket": "patent",
"spider_start_time": "2021-10-13 15:48:56",
"spider_end_time": "2021-10-13 15:49:08",
"spider_used_time_ms": 12,
"spider_ip": "10.8.6.30",
"task_params": {
"key": "CN204671179U",
"url": "http://qxb-img.oss-cn-hangzhou.aliyuncs.com/dlpatents/009c730db9230747893f2356324376ba.jpg",
"bucket": "patent"
},
"metadata": {},
"data": {
"key": "CN204671179U",
"bucket": "patent",
"store_path": "patent/ff/b1/d0/ffb1d035d18b1d8a37ad2ac54218adb9.jpg",
"content": "",
"basket_host": "10.8.8.59:31010"
}
"spider_name": "picture_download",
"platform_name": "picture",
"http_code": 200,
"error_msg": "successful",
"task_result": 1000,
"data_type": "",
"bucket": "patent",
"spider_start_time": "2021-10-13 15:48:56",
"spider_end_time": "2021-10-13 15:49:08",
"spider_used_time_ms": 12,
"spider_ip": "10.8.6.30",
"task_params": {
"key": "CN204671179U",
"url": "http://qxb-img.oss-cn-hangzhou.aliyuncs.com/dlpatents/009c730db9230747893f2356324376ba.jpg",
"bucket": "patent"
},
"metadata": {},
"data": {
"key": "CN204671179U",
"bucket": "patent",
"store_path": "patent/ff/b1/d0/ffb1d035d18b1d8a37ad2ac54218adb9.jpg",
"content": "",
"basket_host": "10.8.8.59:31010"
}
}
```
## 实际爬虫结果的数据结构
<!--可能与超级数据一致，可能不同的data_type的爬虫结果结构不同，超级数据是把所有data_type的结果组合在一起-->
```
......@@ -168,16 +175,14 @@ http://tech.pingansec.com/granite/project-gravel/-/tree/develop_dyf/app_picture_
}
```
## 爬虫运行环境
<!--udm模块？scrapy？或其他-->
udm
## 爬虫部署信息
<!--部署在哪些机器？每个机器多少进程？项目名称是什么？-->
```
......@@ -186,14 +191,12 @@ udm
项目名称：app_picture_download
```
## Taskhub地址
* 10.8.6.222
## Taskhub调度规则说明
```
submit_task:
class: http.HttpRequestWriter
......@@ -202,9 +205,8 @@ udm
method: post
```
## 爬虫监控指标设计
<!--监控爬虫正常运行的指标是什么？报警规则是什么？-->
## 爬虫待采集结果目录
......@@ -225,49 +227,43 @@ udm
/data2_227/grvael_spider_result/picture_download
## logstash配置文件名称
## logstash文件采集type
## 数据归集的topic
collie_picture_download
## ES日志索引及筛选条件
## 监控指标看板
## 数据保留策略
---
# **数据清洗**
## 责任人
## 代码地址
## 部署地址
<!--机器及线上代码地址-->
<!--机器及线上代码地址-->
## 部署方法及说明
<!--运行方法及运行命令、supervisor配置、supervisor的program等-->
- [ ] crontab + data_pump
- [x] supervisor + data_pump
- [ ] supervisor + consumer
## 数据接收来源
<!--来源于kafka还是归集的文件、topic的group？-->
<!--来源于kafka还是归集的文件、topic的group？-->
## 数据存储表地址
......