python phantomjs怎么获取cookie

2024-11-20 08:47:55
推荐回答(1个)
回答1:

最开始是以为爬虫被识别出来所以被阻拦了,但是header各种伪装都试过了,但是依旧被拦截,各种苦恼之后,无意中刷新页面卡了一下,才从chrom中间看到使用浏览器正常访问也会出现一个521的错误
对,一般的爬虫框架或者是使用urllib都会在遇到5开头的错误状态后抛出错误,但是不会返回报文体或者执行后续的callback,于是爬虫就这样终止了。