GitLab

参数：

{
    "key": "CN208414307U", 
    "url": "http://epub.cnipa.gov.cn/pic/ws9100/PUBXML/350401/XXSQ/XXSQ_DZGBD/2017218078160/100005/EDA0001518996270000011.jpg", 	"bucket": "patent",
    "real":0,
    "proxy":1,
    "host":"",
    "path":"",
}

• key (str): 唯一标识

• url (str): 图片链接

• bucket (str)：图片来源

• proxy (int): 是否开启代理 ，0 不开启， 1 开启 ，默认为1

• real (int)：是否实时返回结果 ，可以传 0,1,2,3 ，默认为0

  • 0 表示不要求实时返回结果
  • 1 表示要求实时返回储存url
  • 2 表示要求实时返回图片内容，不储存
  • 3 表示要求实时返回图片内容和储存url

• host (str): 指定图片储存服务器地址

• path (str): 指定图片储存路径

前三个参数必选

返回值：

{   
    "spider_name": "picture_download", 	                    //爬虫名称,str类型
    "platform_name": "picture",                             //爬取平台的名称标识,str类型
    "http_code": 200,                                       //http返回码，int类型
    "message": "seccessful",                                //爬取结束信息，str类型         
    "spider_start_time": "2020-07-11 11:30:40",             //爬取开始时间,str类型,格式为%Y-%m-%d %H:%M:%S
    "spider_end_time": "2020-07-11 11:30:41",               //爬取结束时间,str类型,格式为%Y-%m-%d %H:%M:%S
    "spider_used_time": 10,                                 //爬取耗时,秒数int类型
    "server_host": "10.8.6.51",                             //爬虫所在机器的IP
	"parames":{
        {
    "key": "CN208414307U", 
    "url": "http://epub.cnipa.gov.cn/pic/ws9100/PUBXML/350401/XXSQ/XXSQ_DZGBD/2017218078160/100005/EDA0001518996270000011.jpg", 	"bucket": "patent",
    "real":0,
    "proxy":1,
    "host":"",
    "path":"",
}

    },                                                       //传入的参数
    "data":{
            "src":"http://{host}/save/{bucket}/{key}/{uuid}.jpg",   //图片储存后的url
    		"content":""                                            //图片二进制内容
    }
}

目前计划返回结果储存为 json 文件（可结合文件下载服务）；

文件目录格式为： /{bucket}/{date}/{uuid}.json

流程图：

graph LR
A[spider]
F[udms] --> A-->|real = 0,1,3|E[basket]
B[web] --> A-->|real = 2|G[response] -->H[log]
C[redis]  --> F
D[post]--> B
E -->|real = 0 |K[.json] --> H
E -->|real = 1,3 |G --> H