... | @@ -59,21 +59,31 @@ http://tech.pingansec.com/granite/project-gravel/-/tree/develop_dyf/app_picture_ |
... | @@ -59,21 +59,31 @@ http://tech.pingansec.com/granite/project-gravel/-/tree/develop_dyf/app_picture_ |
|
|
|
|
|
|
|
|
|
## 任务输入参数(样例)
|
|
## 任务输入参数(样例)
|
|
```{
|
|
{
|
|
"spider_name":"picture_download",
|
|
"spider_name":"picture_download",
|
|
"key": li[1],
|
|
"key": "",
|
|
"url": li[2],
|
|
"url": "",
|
|
"bucket": "patent",
|
|
"bucket": "patent",
|
|
"proxy":1,
|
|
"proxy":1,
|
|
}```
|
|
}
|
|
|
|
|
|
|
|
|
|
### 任务样例
|
|
### 任务样例
|
|
<!--注意是爬虫拿到的完整任务,而不仅仅是task_params-->
|
|
<!--注意是爬虫拿到的完整任务,而不仅仅是task_params-->
|
|
|
|
{
|
|
|
|
"key": "",
|
|
|
|
"url": "",
|
|
|
|
"bucket": "patent",
|
|
|
|
"proxy":1,
|
|
|
|
}
|
|
|
|
|
|
|
|
|
|
### 任务参数说明
|
|
### 任务参数说明
|
|
<!--特有参数说明,通用参数比如spider_name,task_params,task_src,task_result等不需说明-->
|
|
<!--特有参数说明,通用参数比如spider_name,task_params,task_src,task_result等不需说明-->
|
|
|
|
"key": 图片唯一键
|
|
|
|
"url": 图片url
|
|
|
|
"bucket": 图片来源
|
|
|
|
"proxy": 是否使用代理,1为使用,0为不使用,默认为1
|
|
|
|
|
|
|
|
|
|
## data_type说明
|
|
## data_type说明
|
... | | ... | |