Skip to content

GitLab

Last edited by ylb
Page history
This is an old version of this page. You can view the most recent version or browse the history.

picture_download.md

参数：

{
    "key": "CN208414307U", 
    "url": "http://epub.cnipa.gov.cn/pic.jpg", 	
    "bucket": "patent",
    //"real":0,
    //"proxy":1,
}
  • key (str): 唯一标识 (必选)
  • url (str): 图片链接 (必选)
  • bucket (str)：图片来源 (必选)
  • proxy (int): 是否开启代理 ，0 不开启， 1 开启 ，默认为1
  • real (int)：是否实时返回结果 ，可以传 0,1,2,3 ，默认为0
    • 0 表示不要求实时返回结果
    • 1 表示要求实时返回储存url
    • 2 表示要求实时返回图片内容和储存url

返回值：

{
	"spider_name": "picture_download",
	"platform_name": "picture",
	"http_code": 200,
	"message": "successful",
	"task_result": 1000,
	"bucket": "deregister",
	"spider_start_time": "2021-10-11 15:59:47",
	"spider_end_time": "2021-10-11 16:00:02",
	"spider_used_time": 15,
	"server_host": "192.168.253.1",
	"parames": {
		"key": "CN208414307U",
		"url": "http://epub.cnipa.gov.cn/pic/ws9100/PUBXML/350401/XXSQ/XXSQ_DZGBD/2017218078160/100005/EDA0001518996270000011.jpg",
		"bucket": "deregister"
	},
	"data": {
		"key": "CN208414307U",
		"bucket": "deregister",
		"store_path": "deregister/45/c3/45c3716c5167e8d96fa819ad4b29bf88.jpg",
		"content": ""
	}
}

  • message 与 task_result 对应关系：

    message task_result
    successful 1000 成功
    local save error 2001 本地存储图片文件错误
    status_code error: {status} 3001 http状态码异常
    request error 3002 requests请求异常
    url unidentified 4001 图片url解析错误
    parame error 4002 参数错误
    decode error 5001 图片内容解码错误
    basket error 5002 调用basket错误

目前计划返回结果储存为 json 文件（可结合文件下载服务）；

文件目录格式为： /{bucket}/{date}/{uuid}.json

流程图：

graph LR
A[spider]
F[udms] --> A-->E[basket]
B[web] --> A
C[redis]  --> F
D[post]--> B
E -->|real = 0 |K[.json] --> H[kibana]
E -->|real = 1,2 |G[response] --> K
A-->L[图片本地备份]