wordpress中的robots.txt的写法，其他网站也可以借用
帮助解决百度不收录wordpress网站的方法之一，也有可以建立更安全的网站。
可以通过查看别的网站的robots.txt的写法，来建立自己更好的robots.txt。
比如http://vr.ccyzk.com/robots.txt的写法
robots.txt可以允许搜索引擎抓取什么页面，不允许抓取哪些页面
也可以立于搜索引擎的优化。
比如
Sitemap: http://vr.ccyzk.com/sitemap.xml
User-Agent: *
Disallow: /wp-
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /feed/
Disallow: /comments/feed
Disallow: /trackback
Disallow: /comments
Disallow: /tmp
Disallow: /vr.ccyzk.com/
Disallow: /cgi-bin
Allow: /*.htm$
放Sitemap: http://vr.ccyzk.com/sitemap.xml，是为了让搜索引擎更好的利用网站地图
这个robots.txt文件允许博客被所有搜索引擎收录，但是不允许蜘蛛访问cgi-bin文件夹以及wp开头的文件，这主要是为了博客的安全。
不允许搜索引擎蜘蛛访问feed及comments的feed文件，主要是为了避免重复内容，这一点百度尤其重视，将wordpress 的很多页面视为重复内容，这也是wordpress博客在百度中排名不高的原因之一。
禁止访问trackback和comments是为了避免垃圾评论和垃圾引用
更多请参考百度的：
http://www.baidu.com/search/robots.html
原创文章，转载时必须以链接形式注明本文来自云中客，本文固定链接：http://vr.ccyzk.com/181.htm