其实写法倒是没有错误,除了最后一个allow(一般不同时出现allow与disallow)
你的原意如果只是屏蔽目录的收录,结果你写成这样的话,有可能会影响优化
比如说,你的这一条:
Disallow: /plus
表示不要抓取plus文件夹,但如果你当前目录下同时有一个plus.html文件
那么plus.html也不会被抓取
按你的原意,我建议你改为:
User-agent: *
Disallow: /templets/
Disallow: /dede/
Disallow: /data/
Disallow: /include/
Disallow: /member/
Disallow: /plus/
Disallow: /404.html
顺便提一句,你的后台操作目录地址还是改下,别用dede,这很不安全
这个ROBOT感觉是DEDECMS自带的吧?其实LZ首先需要知道Disallow: /templets
这个代表什么Disallow: /templets/又代表什么。
Disallow: /templets 代表:禁止抓取templets文件夹以及以这个单词命名的文件。
Disallow: /templets/ 代表:禁止抓取templets文件夹
Allow:/plus/search.php 然而这句说明允许抓取这个plus文件夹下的search.php文件,其实没用。禁止抓取最好。因为这个是搜索的模板,没有搜索内容。