首页
116问答网
>
关于Scrapy爬取1000张网页的问题
关于Scrapy爬取1000张网页的问题
2025-04-10 13:01:02
推荐回答（1个）
回答1：
1、可能是被服务器封ip了
2、可能是有一些特殊网页，你现有的程序无法解决，报了异常，无法执行
3、链接错误
解决方法是：用单个报错的链接测试一下，是否能够正常运行。
相关问答
scrapy 提取网页数据?
请教使用 scrapy 爬取豆瓣读书的时候，无法多页面爬取的...
想用scrapy爬100万个网站,
如何实现scrapy针对网页内容变化的增量爬取
scrapy怎么爬去需要登陆的网站
python scrapy如何爬取今日头条的文章
尝试用scrapy提取网页中的网址
最新问答
聚氨酯结构粘结胶碰到皮肤上用什么材料来清洁？
一个女生和我吃香蕉和西瓜，她喜欢我吗？
我在小饭店打工,没有签合同,已经3个月没发工资了,找老板要他说没钱,要么搬桌子要么去告他，该怎么办？
我在邮政买的每年交l万交三年，5年后取，交满三年了现在想取出来可以吗？
淘宝小二是什么意思让我在银行卡里打2000元才给取消冻结
HD7950和GTX760两个显卡，我主要是PS作图和玩游戏，请各位大侠给指点一下用哪个显卡。
奥克斯空调万能遥控器众新Q1000代码
125×(26×8)用简便方法怎么做？
插件二极管套磁环（铁粉芯）有什么作用
翻译福尔摩斯密码。
