|
# 请求未正常获取到数据可能原因
|
|
# 请求未正常获取到数据可能原因
|
|
|
|
|
|
##、headers中某些参数设置不能通过服务器检测
|
|
## headers中某些参数设置不能通过服务器检测
|
|
1、content-length
|
|
1、content-length
|
|
说明:该字段用于指定响应大小,但是scrapy框架下使用该参数可能会存在返回400错误,这是Twisted本身存在的问题。
|
|
说明:该字段用于指定响应大小,但是scrapy框架下使用该参数可能会存在返回400错误,这是Twisted本身存在的问题。
|
|
解决方案:去除该字段
|
|
解决方案:去除该字段
|
... | @@ -12,9 +12,11 @@ |
... | @@ -12,9 +12,11 @@ |
|
4、cookie
|
|
4、cookie
|
|
说明:指明cookie,服务器可通过该字段标识请求,该字段存在字段设置不正确、字段正确但是cookie使用时间过期或者使用次数到达限制等问题
|
|
说明:指明cookie,服务器可通过该字段标识请求,该字段存在字段设置不正确、字段正确但是cookie使用时间过期或者使用次数到达限制等问题
|
|
解决方案:对于段正确但是使用时间过期或者使用次数到达限制的问题,需频繁更换cookie
|
|
解决方案:对于段正确但是使用时间过期或者使用次数到达限制的问题,需频繁更换cookie
|
|
##、请求中某些参数设置不正确
|
|
## 请求中某些参数设置不正确
|
|
##)、出口ip被封
|
|
## 出口ip被封
|
|
总结:请求未正常获取到数据可能原因不只于上面的例举,但是发现错误的方法都是相同的,都是先使用浏览器正常访问,复制成功获取到数据时请求的headers、url和
|
|
|
|
|
|
#总结:
|
|
|
|
请求未正常获取到数据可能原因不只于上面的例举,但是发现错误的方法都是相同的,都是先使用浏览器正常访问,复制成功获取到数据时请求的headers、url和
|
|
data,写一个可以成功获取到数据的demo,再和无法获取到数据的爬虫程序对比,控制变量法找到关键因素。
|
|
data,写一个可以成功获取到数据的demo,再和无法获取到数据的爬虫程序对比,控制变量法找到关键因素。
|
|
|
|
|
|
|
|
|
... | | ... | |