如何在robots.txt屏蔽外部链接。比如我的网站里想屏蔽淘宝的链接,不让蜘蛛爬取淘宝链接

2024-11-18 14:24:04
推荐回答(1个)
回答1:

robots.txt一般是控制你自己的网站内部链接

你可以不你站内的淘宝地址“nofollow”掉:什么什么什么

或者此页面所以链接都不抓取: