大家都知道Z-blog的seo表现极佳,不过z-blog的标签表现真是不尽人意,百度对z-blog的抓取也有点摸不着头脑,有了robots.txt就等于给搜索引擎一个更清晰的路标,阿权站长最近看网站的日志发现:搜索引擎总是乱爬网站的各个目录,很多不能识别的页面也爬。所以写robots.txt还是很有用的。
这里,阿权站长跟大家分享一下俺一个网站的悲剧,从中可以知道robots.txt的作用:这个网站是www.sanhuicheng.cn,本来里面的关键词还是有不错排名的,其中有个关键词还稳定排名百度第一页,网站发布内容秒收,结果在5.26日,网站的根目录下多出了一个文件夹,里面全是动态生成的一些黄色信息,百度竟然还全部给收录了,我发现后立马删除,网站收录和关键词排名都没有受到影响。可是,我忘记了这个网站没有写robots.txt,在5.28日,可恶的那个文件夹又出现了,并且在我的二级目录站下也出现了黄色信息,可恨呀,我赶紧又删除,不过网站经过这次洗礼后,关键词全没了,悲剧产生!三天后网站收录恢复,仔细一看,天呢,那个文件夹没了,可是百度竟然收录了因找不到网页而产生的404页面!真是无语。于是,我想起了robots.txt,赶紧写好robots.txt,禁止百度抓取那个文件夹,禁止抓取404页面。两天后,百度照常收录网站信息,不过关键词还没回来,通过关键词排名查询,排名前进的速度很快,相信不久关键词排名就会恢复。
下面阿权站长把z-blog的robots.txt写出来供大家参阅,因为z-blog标签表现不佳,所以阿权就不让搜索引擎收录动态页面了,其中zzseo是生成静态页面的目录,可以根据您的实际情况进行修改。
robots.txt使用方法:新建文本文件,修改文件名为robots.txt,把下面内容复制(静态目录需根据您的情况修改阿权的是zzseo)到您的robots.txt文本文档,通过FTP上传到您网站根目录下。
User-agent: *
Allow: /zzseo/
Allow: /UPLOAD/
Disallow: /ADMIN/
Disallow: /ARCHIVER
Disallow: /aspnet_client
Disallow: /CSS/
Disallow: /DATA/
Disallow: /FUNCTION/
Disallow: /IMAGE/
Disallow: /INCLUDE/
Disallow: /LANGUAGE
Disallow: /PLUGIN/
Disallow: /SCRIPT/
Disallow: /THEMES/
Disallow: /XML-RPC/
Disallow: /*?*
http://www.seozz.net/sitemap.xml
注:阿权认为把Allow写在前面会更好点,只是个人感觉而已。
本文地址:http://www.seozz.net/zzseo/zblogrobots.html
本文标题:z-blog的robots.txt写法