首页
116问答网
>
求教一个关于”scrapy双向爬取的问题“
求教一个关于”scrapy双向爬取的问题“
2025-04-05 16:59:30
推荐回答（1个）
回答1：
当初就是因为无法增量抓取所以放弃 scrapy 的。
因为我们的场景，定时更新，增量抓取是非常重要的，这要求很强 url 去重，调度策略逻辑。
而 scrapy 的内存去重实在是太简陋了。
相关问答
求教一个关于”scrapy双向爬取的问题“
关于Scrapy爬取1000张网页的问题
请教使用 scrapy 爬取豆瓣读书的时候，无法多页面爬取的...
请教使用 scrapy 爬取豆瓣读书的时候，无法多页面爬取的...
python，学习scrapy框架爬取网址出错，请给一些解决...
scrapy 爬虫怎么能够只写一个通用spider，然后利用...
python scrapy 怎么将爬取的内容写出
scrapy怎么让爬虫一直循环抓取不停
最新问答
怎样把汽车电瓶12伏直流电源改成5伏直流电源呢?2A左右就够了呀!
陶器和瓷器的区别是什么？
盛世益桃高考补习学校的口碑怎么样？
贵州文启远程科技有限责任公司怎么样？
南京同仁堂牙美多少钱?
能用C语言写一个生成随机数的程序吗？
《扁鹊见蔡桓公》中的“桓侯遂死”中的“遂”是什么意思
澳大利亚气候类型和植被带都呈什么分布
深圳市光明新区公明街道东坑村帝尔工业区b1栋邮编多少
从成都出发的K206次列车到河南漯河吗?到站时停不停?
