大家都知道,一般网站生成过后,都有网根目录,默认有robots.txt协议文件,那么robots.txt文件放在那里?到底哪些时候需要使用该协议呢?接下来跟随 淮南SEO小编来了解一下:
此文件需放置在网站的根目录,且对字母大小有限制,文件名必须为小写字母。所有的命令第一个字母需大写,其余的小写。且命令之后要有一个英文字符空格。
哪些时候需要使用该协议:
1:无用页面,很多网站都有联系我们,用户协议等页面,这些页面相对于搜索引擎优化来讲,作用不大,此时需要使用Disallow命令禁止这些页面被搜索引擎抓取。
2:动态页面,企业类型站点屏蔽动态页面,有利于网站安全。且多个网址访问同一页面,会造成权重分散。因此,一般情况下,屏蔽动态页面,保留静态或伪静态页面。
3:网站后台页面,网站后台也可以归类于无用页面,禁止收录有百益而无一害。
本文由合肥蓝领原创,转载时请注明出处。返回合肥网站建设公司首页 |