... | ... | @@ -13,10 +13,11 @@ |
|
|
说明:指明cookie,服务器可通过该字段标识请求,该字段存在字段设置不正确、字段正确但是cookie使用时间过期或者使用次数到达限制等问题
|
|
|
解决方案:对于段正确但是使用时间过期或者使用次数到达限制的问题,需频繁更换cookie
|
|
|
## 请求中某些参数设置不正确
|
|
|
|
|
|
## 出口ip被封
|
|
|
|
|
|
总结:请求未正常获取到数据可能原因不只于上面的例举,但是发现错误的方法都是相同的,都是先使用浏览器正常访问,复制成功获取到数据时请求的headers、url和
|
|
|
data,写一个可以成功获取到数据的demo,再和无法获取到数据的爬虫程序对比,控制变量法找到关键因素。
|
|
|
|
|
|
|
|
|
总结:请求未正常获取到数据可能原因不只于上面的例举,但是发现错误的方法都是相同的,都是先使用浏览器正常访问,复制成功获取到数据时请求的headers、url和data,写一个可以成功获取到数据的demo,再和无法获取到数据的爬虫程序对比,控制变量法找到关键因素。
|
|
|
|
|
|
|
|
|
|
... | ... | |