robots.txt是什么?怎么用?您百度下:robots.txt看看介绍和规则就OK 或者直接点击看百度百科:http://baike.baidu.com/view/1280732.htm
robots.txt必须写在网站根目录下,如:http://www.seozz.net/robots.txt
如果不会写robots.txt,打开一个网站,在它的根目录下输入:robots.txt 仿照它的写就OK
今天阿权站长就和大家谈谈robots.txt在特殊时期的作用,阿权站长的一个网络推广论坛www.floyou.net用的是动网论坛系统,并且伪静态化了,因为动网论坛系统所生成的网址比较复杂,所以伪静态规则也比较难弄,于是,百度就总收录一些错误的伪静态页面,具体如下图所示(因为404错误页面定义的是首页):
(百度收录错误网址页面)
分析收录的错误网址后发现,伪静态网址后面会加很多其它东西,结尾都是move=next或move=pre
于是8月31日我在robots.txt中写入了两行语句:
Disallow: /*move=next$
Disallow: /*move=pre$
结果:9月1日,收录就正常了,如下图所示:
(robots.txt限制后百度收录正常)
可见,当搜索引擎无法对网站进行检索索引的时候,或总收录错误网址的时候,用robots.txt来限制或引导就是很好的方法。
以上,阿权站长拙见,若有不妥,敬请谅解!
本文地址:http://www.seozz.net/zzseo/robots.html
本文标题:说说robots.txt在网站被百度收录错误网址时的作用