海南彩票今日开奖号码: 网站优化robots.txt的原理与设置

海南飞鱼彩票官网 / 网站优化 / 时间:2018-11-06 19:09
做过网站优化的朋友都知道,搜索引擎蜘蛛爬行抓取网站时首先会去访问根目录下的robots.txt文件,如果robots文件存在,则会根据robots文件内设置的规则进行爬行抓取,如果文件不存在则会顺着首页进行抓取,那么robots文件的工作原理是什么呢?如何对robots.txt文件进行设置

网站优化robots.txt的原理与设置
一、robots.txt的工作原理
 
robots.txt是一个纯文本的文件,文件的名字必须全部小写,并且放置在网站的根目录下面,通过文件中的规则声明网站哪些内容不想被搜索引擎蜘蛛抓取收录,或者指定某个搜索引擎不能收录robots.txt也叫做爬虫协议,遵循爬虫协议的搜索引擎蜘蛛,都会根据协议的内容对网站进行爬虫抓取的。
 
二、robots.txt的设置
 
1.User-agent的设置
 
在"robots.txt"文件中,如果有多条 User-agent 记录说明有多个 robot 会受到"robots.txt"的限制,对该文件来说,至少要有一条 User-agent 记录。如果该项的值设为*,则对任何 robot均有效,在"robots.txt"文件中,"User-agent:*"这样的记录只能有一条。
 
2.Disallow的设置
 
这个值可以是一条完整的路径,也可以是路径的非空前缀,以 Disallow 项的值开头的URL不会被 robot 访问。
 
3.Allow的设置
 
与 Disallow 项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以 Allow项的值开头的 URL是允许robot访问的。
 
合理的运用robots.txt文件对网站优化能起到很大的作用,比如当网站出现死链的时候,可以通过robots.txt文件进行屏蔽,这样就不会影响到网站的排名,另外还可以在robots.txt添加网站地图URL,能有效的帮助搜索引擎蜘蛛对网站内容的爬行抓取。

海南飞鱼彩票官网 www.r46d.cn 海南飞鱼彩票官网半杯酒博客文章,转载请注明原文网址摘自 //www.r46d.cn/wangzhanyouhua/838.html,谢谢配合!

微信扫一扫,关注我们
1
海南飞鱼彩票官网
  • 语文水平太差,直通通的转不弯来,又怎么表现逻辑大师的水平,忽悠成为自我暴露 2019-05-21
  • 运城市两部微电影喜获全国奖 2019-05-09
  • 沃尔沃S60也玩性能版,或售45万起剑指奥迪S4,就问你怕了吗? 2019-05-08
  • 时速350公里自动驾驶!京张智能高铁大片来了 2019-05-04
  • 全国红色旅游万里行活动启动 2019-05-04
  • 侯晓春调研广安益农信息服务中心 强调全面推进质量兴农品牌强农 2019-05-01
  • 那你就写个帖子驳呀!告诉你,我是普通老百姓就是错了也没有啥,你可是论坛“真理化身”呀! 2019-05-01
  • 紫光阁中共中央国家机关工作委员会 2019-04-29
  • 报告显示: 30至40岁的成熟人才回国比例明显攀升 2019-04-29
  • 马来西亚小天后李佩玲勇摘“新人奖”金奖宝座!李佩玲 2019-04-26
  • 秒变迷弟!吴建豪晒与甄子丹合影:偶像给我签名 2019-04-26
  • 种类繁多的服务业确实为就业作出了贡献,但这行业的整治刻不容缓。 2019-04-25
  • “互联网+检察”服务金融产业 2019-04-23
  • 中粮集团混改再按“快进键” 2019-04-22
  • 車·晓 第26期 車企官方降价真相幾何? 2019-04-20
  • 295| 495| 129| 47| 468| 329| 53| 30| 887| 733|