郑州SEO—SEO站长(阿权)

郑州seo-阿权团队网络营销服务中.....承接:网站建设、网站优化、网络推广、营销策划、商务外包等业务,咨询QQ:346363458

说说robots.txt在网站被百度收录错误网址时的作用

robots.txt是什么?怎么用?您百度下:robots.txt看看介绍和规则就OK 或者直接点击看百度百科:http://baike.baidu.com/view/1280732.htm

robots.txt必须写在网站根目录下,如:http://www.seozz.net/robots.txt

如果不会写robots.txt,打开一个网站,在它的根目录下输入:robots.txt 仿照它的写就OK

今天阿权站长就和大家谈谈robots.txt在特殊时期的作用,阿权站长的一个网络推广论坛www.floyou.net用的是动网论坛系统,并且伪静态化了,因为动网论坛系统所生成的网址比较复杂,所以伪静态规则也比较难弄,于是,百度就总收录一些错误的伪静态页面,具体如下图所示(因为404错误页面定义的是首页):

百度收录错误

百度收录错误网址页面

分析收录的错误网址后发现,伪静态网址后面会加很多其它东西,结尾都是move=next或move=pre
于是8月31日我在robots.txt中写入了两行语句:
Disallow: /*move=next$
Disallow: /*move=pre$

结果:9月1日,收录就正常了,如下图所示:

百度收录正常

robots.txt限制后百度收录正常

可见,当搜索引擎无法对网站进行检索索引的时候,或总收录错误网址的时候,用robots.txt来限制或引导就是很好的方法。

以上,阿权站长拙见,若有不妥,敬请谅解!

本文地址:http://www.seozz.net/zzseo/robots.html

本文标题:说说robots.txt在网站被百度收录错误网址时的作用

« 上一篇 下一篇 »

  • 相关文章:
  • 存款证明 发布于 2011-9-7 13:31:12   http://www.shckzm.com/
  • 学习了~~就是不知道伪静态这样处理好吗~
  • 2011-9-7 13:31:12 回复该留言
  • 诸葛晓东 发布于 2011-9-4 23:30:11   http://www.seoshijian.com
  • 能帮我看看我的robots.txt 设置是否正确呢
  • 2011-9-4 23:30:11 回复该留言

发表留言:取消回复

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

Powered By 阿权站长

Copyright【豫ICP备09037741号-2】联系我们Your WebSite.给我留言 Some Rights Reserved.