... | ... | @@ -2,7 +2,7 @@ |
|
|
|
|
|
## 数据名称(中文)
|
|
|
<!-- 该项数据的中文标准名称,后续沟通交流使用的规范名称,如:工商公示股东信息、失信被执行人、一般纳税人等-->
|
|
|
图片下载
|
|
|
```图片下载```
|
|
|
|
|
|
|
|
|
## 数据英文名称
|
... | ... | @@ -36,27 +36,31 @@ picture_download |
|
|
|
|
|
## 爬虫名称
|
|
|
<!--spider_name-->
|
|
|
picture_download
|
|
|
|
|
|
## 代码地址
|
|
|
<!--爬虫的具体代码地址,不是代码所在的项目,要具体到模块或脚本文件-->
|
|
|
http://tech.pingansec.com/granite/project-gravel/-/tree/develop_dyf/app_picture_download/udms/app_spider
|
|
|
|
|
|
## 队列名称及队列地址
|
|
|
<!--redis host port db key 优先级说明-->
|
|
|
|
|
|
* redis host:
|
|
|
* redis port:
|
|
|
* redis db:
|
|
|
* redis key:
|
|
|
* redis host: bdp-mq-001.redis.rds.aliyuncs.com
|
|
|
* redis port: 6379
|
|
|
* redis db: 7
|
|
|
* redis key: download_picture_url
|
|
|
|
|
|
### 优先级队列说明
|
|
|
|
|
|
|
|
|
## 任务来源
|
|
|
<!--说明爬虫任务的输入。如:来自某个数据库表等。如果来自某个数据库表则应该简要说明该表内的数据是如何维护的。-->
|
|
|
由使用方掉taskhub 接口输入
|
|
|
|
|
|
|
|
|
## 任务输入参数(样例)
|
|
|
|
|
|
|
|
|
### 任务样例
|
|
|
<!--注意是爬虫拿到的完整任务,而不仅仅是task_params-->
|
|
|
|
... | ... | |