GitLab

参数：

{
    "key": "CN208414307U", 
    "url": "http://epub.cnipa.gov.cn/pic.jpg", 	
    "bucket": "patent",
    "real":0,
    "proxy":1,
}

• key (str): 唯一标识 (必选)
• url (str): 图片链接 (必选)
• bucket (str)：图片来源 (必选)
• proxy (int): 是否开启代理 ，0 不开启， 1 开启 ，默认为1
• real (int)：是否实时返回结果 ，可以传 0,1,2,3 ，默认为0
  • 0 表示不要求实时返回结果
  • 1 表示要求实时返回储存url
  • 2 表示要求实时返回图片内容和储存url

返回值：

{
	"spider_name": "picture_download",
	"platform_name": "picture",
	"http_code": 200,
	"error_msg": "successful",
	"task_result": 1000,
	"data_type": "",
	"bucket": "deregister",
	"spider_start_time": "2021-10-13 14:18:55",
	"spider_end_time": "2021-10-13 14:18:58",
	"spider_used_time_ms": 3,
	"spider_ip": "10.8.6.30",
	"task_params": {
		"key": "CN204672880U",
		"url": "http://qxb-img.oss-cn-hangzhou.aliyuncs.com/dlpatents/fa5c8b5fe548876488a07e20fb11e5d0.jpg",
		"bucket": "deregister"
	},
	"metadata": {},
	"data": {
		"key": "CN204672880U",
		"bucket": "deregister",
		"store_path": "deregister/5a/49/5a4956f1536313ea50247175090d42db.jpg",
		"content": ""
	}
}

• message 与 task_result 对应关系：

  message	task_result
  successful	1000	成功
  local save error	2001	本地存储图片文件错误
  status_code error: {status}	3001	http状态码异常
  request error	3002	requests请求异常
  url unidentified	4001	图片url解析错误
  parame error	4002	参数错误
  decode error	5001	图片内容解码错误
  basket error	5002	调用basket错误

目前计划返回结果储存为 json 文件（可结合文件下载服务）；

文件目录格式为： /{bucket}/{date}/{uuid}.json

流程图：

graph LR
A[spider]
F[udms] --> A-->E[basket]
B[web] --> A
C[redis]  --> F
D[post]--> B
E -->|real = 0 |K[.json] --> H[kibana]
E -->|real = 1,2 |G[response] --> K