主要是官方的一些文件夹,你可以参考一下这个 然后考虑禁止哪些
../a 默认生成文件存放目录
../data 系统缓存或其他可写入数据存放目录
../dede 默认后台登录管理(可任意改名)
../images 系统默认的部分系统需要的图片目录
../include 程序核心系统文件目录
../install 安装文件目录
../member 会员系统目录
../plus 插件及辅助功能目录
../special 专题目录
../templets 模版目录
../uploads 默认上传文件目录
../index.php 网站默认动态首页文件
../robots.txt 限定搜索引擎命令
../tags.php TAG标签文件
一般后台文件 安装文件 模板,动态链接以及感觉网页质量不怎么利于排名的页面,都给禁止抓取的吧!
Sitemap: http://www.dianmowan.cn/sitemap.xml
User-agent: *
Disallow: /admin*
Disallow: /data/
Disallow: /include/
Disallow: /plus/
Disallow: /templets/
Disallow: /uploads/