data_stream/picture_download.md.md

 # **基本信息**
 
 ## 数据名称（中文）
+
 <!-- 该项数据的中文标准名称，后续沟通交流使用的规范名称，如：工商公示股东信息、失信被执行人、一般纳税人等-->
 图片下载
 
-
 ## 数据英文名称
+
 <!--英文名称，后续流程中所有涉及到英文名称均以此为准，如：partner、shixin、general_taxpayer等-->
 picture_download
 
-
 ## 采集网站（采集入口）
-<!--采集的入口地址，不能只是一个网站域名，具体到该网站的数据入口-->
-
 
+<!--采集的入口地址，不能只是一个网站域名，具体到该网站的数据入口-->
 
 ## 采集频率及采集策略
+
 <!--说明该项数据更新频率，存量数据的更新频率及策略、新增数据的采集频率及策略-->
 根据具体任务决定
 
 ### 存量更新策略
-<!--无需更新？每天全量更新？逐条轮询更新？多久更新完一轮？或其他-->
 
+<!--无需更新？每天全量更新？逐条轮询更新？多久更新完一轮？或其他-->
 
 ### 增量采集策略
+
 <!--新增数据怎么来？无需单独采集新增数据？-->
 
 ---
@@ -31,18 +32,21 @@ picture_download
 # **爬虫**
 
 ## 责任人
-董雨峰
 
+董雨峰
 
 ## 爬虫名称
+
 <!--spider_name-->
 picture_download
 
 ## 代码地址
+
 <!--爬虫的具体代码地址，不是代码所在的项目，要具体到模块或脚本文件-->
 http://tech.pingansec.com/granite/project-gravel/-/tree/develop_dyf/app_picture_download/udms/app_spider
 
 ## 队列名称及队列地址
+
 <!--redis host port db key 优先级说明-->
 
 * redis host: bdp-mq-001.redis.rds.aliyuncs.com
@@ -52,42 +56,45 @@ http://tech.pingansec.com/granite/project-gravel/-/tree/develop_dyf/app_picture_
 
 ### 优先级队列说明
 
-
 ## 任务来源
+
 <!--说明爬虫任务的输入。如：来自某个数据库表等。如果来自某个数据库表则应该简要说明该表内的数据是如何维护的。-->
 
 * 由使用方掉taskhub 接口输入
 
 ## 任务输入参数（样例）
+
 ```json
 {
-    "spider_name":"picture_download",
-    "key": "",
-    "url": "",
-    "bucket": "patent",
-    "proxy":1,   
+  "spider_name": "picture_download",
+  "key": "",
+  "url": "",
+  "bucket": "patent",
+  "proxy": 1,
+  "keep_msg": {
+    "keep_key": "keep_value"
+  }
 }
 ```
 
-
-
-
 ### 任务样例
+
 <!--注意是爬虫拿到的完整任务，而不仅仅是task_params-->
 
 ```json
-{       
-    "key": "",
-    "url": "",
-    "bucket": "patent",
-    "proxy":1, 
+{
+  "key": "",
+  "url": "",
+  "bucket": "patent",
+  "proxy": 1,
+  "keep_msg": {
+    "keep_key": "keep_value"
+  }
 }
 ```
 
-
-
-
 ### 任务参数说明
+
 <!--特有参数说明，通用参数比如spider_name,task_params,task_src,task_result等不需说明-->
 
 ```
@@ -95,48 +102,48 @@ http://tech.pingansec.com/granite/project-gravel/-/tree/develop_dyf/app_picture_
 "url": 图片url
 "bucket": 图片来源
 "proxy": 是否使用代理，1为使用，0为不使用，默认为1
+"keep_msg": 可选参数,这个字段会被保留到结果里面
 ```
 
-
-
-
 ## data_type说明
-<!--可能产生的data_type说明-->
 
+<!--可能产生的data_type说明-->
 
 ## 爬虫结果的超级数据
+
 <!--包含所有字段的json数据，每个value都要有样例值-->
 
 ```json
 {
-	"spider_name": "picture_download",
-	"platform_name": "picture",
-	"http_code": 200,
-	"error_msg": "successful",
-	"task_result": 1000,
-	"data_type": "",
-	"bucket": "patent",
-	"spider_start_time": "2021-10-13 15:48:56",
-	"spider_end_time": "2021-10-13 15:49:08",
-	"spider_used_time_ms": 12,
-	"spider_ip": "10.8.6.30",
-	"task_params": {
-		"key": "CN204671179U",
-		"url": "http://qxb-img.oss-cn-hangzhou.aliyuncs.com/dlpatents/009c730db9230747893f2356324376ba.jpg",
-		"bucket": "patent"
-	},
-	"metadata": {},
-	"data": {
-		"key": "CN204671179U",
-		"bucket": "patent",
-		"store_path": "patent/ff/b1/d0/ffb1d035d18b1d8a37ad2ac54218adb9.jpg",
-		"content": "",
-		"basket_host": "10.8.8.59:31010"
-	}
+  "spider_name": "picture_download",
+  "platform_name": "picture",
+  "http_code": 200,
+  "error_msg": "successful",
+  "task_result": 1000,
+  "data_type": "",
+  "bucket": "patent",
+  "spider_start_time": "2021-10-13 15:48:56",
+  "spider_end_time": "2021-10-13 15:49:08",
+  "spider_used_time_ms": 12,
+  "spider_ip": "10.8.6.30",
+  "task_params": {
+    "key": "CN204671179U",
+    "url": "http://qxb-img.oss-cn-hangzhou.aliyuncs.com/dlpatents/009c730db9230747893f2356324376ba.jpg",
+    "bucket": "patent"
+  },
+  "metadata": {},
+  "data": {
+    "key": "CN204671179U",
+    "bucket": "patent",
+    "store_path": "patent/ff/b1/d0/ffb1d035d18b1d8a37ad2ac54218adb9.jpg",
+    "content": "",
+    "basket_host": "10.8.8.59:31010"
+  }
 }
 ```
 
 ## 实际爬虫结果的数据结构
+
 <!--可能与超级数据一致，可能不同的data_type的爬虫结果结构不同，超级数据是把所有data_type的结果组合在一起-->
 
 ```
@@ -168,16 +175,14 @@ http://tech.pingansec.com/granite/project-gravel/-/tree/develop_dyf/app_picture_
 }
 ```
 
-
-
-
 ## 爬虫运行环境
+
 <!--udm模块？scrapy？或其他-->
 
 udm
 
-
 ## 爬虫部署信息
+
 <!--部署在哪些机器？每个机器多少进程？项目名称是什么？-->
 
 ```
@@ -186,14 +191,12 @@ udm
 项目名称：app_picture_download
 ```
 
-
-
-
-
 ## Taskhub地址
+
 * 10.8.6.222
 
 ## Taskhub调度规则说明
+
  ```
  submit_task:
      class: http.HttpRequestWriter
@@ -202,9 +205,8 @@ udm
        method: post
  ```
 
-
-
 ## 爬虫监控指标设计
+
 <!--监控爬虫正常运行的指标是什么？报警规则是什么？-->
 
 ## 爬虫待采集结果目录
@@ -225,49 +227,43 @@ udm
 
 /data2_227/grvael_spider_result/picture_download
 
-
 ## logstash配置文件名称
 
-
 ## logstash文件采集type
 
 ## 数据归集的topic
 
 collie_picture_download
 
-
 ## ES日志索引及筛选条件
 
-
 ## 监控指标看板
 
-
 ## 数据保留策略
 
-
 ---
 
 # **数据清洗**
 
 ## 责任人
 
-
 ## 代码地址
 
-
 ## 部署地址
-<!--机器及线上代码地址-->
 
+<!--机器及线上代码地址-->
 
 ## 部署方法及说明
+
 <!--运行方法及运行命令、supervisor配置、supervisor的program等-->
+
 - [ ] crontab + data_pump
 - [x] supervisor + data_pump
 - [ ] supervisor + consumer
 
 ## 数据接收来源
-<!--来源于kafka还是归集的文件、topic的group？-->
 
+<!--来源于kafka还是归集的文件、topic的group？-->
 
 ## 数据存储表地址