成都seo博客

蔡江博客

设置robots协议文件便于管理搜索引擎

作者:choi 日期:2019-05-25 16:36 浏览:92

  在很多年前,搜索引擎对于优化这一块只是停留在表格填写这一阶段,但是随着搜索引擎优化的不断改变,就开始要求网站有robots协议文件的要求的,因为这样更利于管理搜索蜘蛛,下面成都seo就探讨一下!

  什么是搜索引擎蜘蛛?

  搜索引擎蜘蛛是一种自动程序,它沿着从一个网页到另一个网页的链接在互联网上爬行,为内容编制索引并将其添加到数据库中。这意味着,只要网站有一个来自其他网站且搜索引擎已经知道的链接,然后它会找到随着时间的推移。链接到站点越多,发生这种情况的速度就越快。
 

网站搜索引擎优化
 

  不幸的是,这些蜘蛛可以非常密集地访问网站。这是因为他们加载每个页面和文件,以便为数据库编目。蜘蛛会导致虚拟专用数据库负载过高,可能会给访问者带来问题。为了帮助解决这些负载问题,有一种标准化的方法来控制这些爬虫的行为,方法是将名为robots.txt的文件放在网站的根目录中。但是,没有任何强制遵守此文件的内容。所以,虽然大多数网络搜索引擎爬虫会服从它,但有些爬虫可能不会。

  robots.txt文件有特定的形式,请看以下示例:

  User-agent: googlebot

  Disallow: /images

  Allow: /images/metadata

  crawl-delay: 2

  sitemap: /sitemap.xml

  按顺序查看每个指令行:

  首先从“User-agent”(用户代理)行开始:机器人或网络浏览器将使用用户代理来标识自身,而各种搜索引擎爬虫将拥有自己的用户代理。遵循“User-agent”指令的任何其他指令将仅对给定的用户代理有效。带星号(*)的用户代理将被视为引用所有用户代理。在示例文件中,该指令与googlebot搜索引擎蜘蛛程序相关。

  “Disallow”(禁止)指令用于告诉搜索引擎蜘蛛程序有关不加载的目录或文件。需要注意的是,尽管搜索引擎蜘蛛不会加载文件,如果它跟踪到它们的链接,它仍然会在搜索结果中列出这些文件。因此,它不能用来阻止页面出现在搜索结果中。“Disallow”可能是所有搜索引擎蜘蛛都支持的唯一指令。因此在示例中,不允许爬行/images目录。
 

网站优化效果分析
 

  “Allow”(允许)指令可用于指定搜索引擎蜘蛛可以加载的禁止目录中的文件或目录。虽然并不是所有的搜索引擎蜘蛛都支持这个指令,但大多数蜘蛛都支持。在示例中,允许蜘蛛加载 /images/metadata目录中的文件。

  下一个指令是“crawl-delay”(爬行延迟),它以秒为单位给出蜘蛛在加载下一页之前将等待的数字。这是降低蜘蛛速度的最好方法,尽管可能不想让数字太高,除非站点上只有很少的页面,因为这将极大地限制蜘蛛每天可以加载的页面数量。

  最后,是“sitemap”(网站地图)指令,可以将蜘蛛引导到网站的XML网站地图文件,它也可以用来帮助网站进行索引。

  控制搜索引擎蜘蛛

  在robots.txt中可以填充尽可能多或很少的用户代理,以控制访问站点的方式。对于所有蜘蛛来说,从一个用户代理区开始,然后为特定的蜘蛛添加单独的部分是有意义的,因为它们可能会给站点带来问题。创建了robots.txt之后,就需要对它进行测试,以确保它是有效的。如果语法中出现输入错误或拼写错误,则可能会导致蜘蛛忽略正在设置的规则。幸运的是,有很多测试它的工具,还有一些主要的搜索引擎,比如谷歌提供的测试工具。

  所以,对于蜘蛛的有效管理可以加强我们我们网站的收录和安全防护等等,掌握蜘蛛尿性,对于排名你就会如鱼得水。


文章来源:未知
文章标题:设置robots协议文件便于管理搜索引擎
本文地址:http://www.chengduseo.cn/seo/9172.html
相关文章
「成都网站推广」提高网站推广效果,做好seo优化! 「成都网站推广」提高网站推广效果,做好seo优化!

现在基本上进行网站推广都要进行网站优化,才有机会参与排名机会,能够进一步提高网站推广的效果,所以做好seo优化分析

「四川seo」正确的seo思维创造精准的用户 「四川seo」正确的seo思维创造精准的用户

做网站你知道有哪些方法?这问题大多数都有人知道,但是却没有实质的seo思维,也就是如何做品牌推广,如何做网站推广,

做好用户体验才是优质网站优化的表现? 做好用户体验才是优质网站优化的表现?

现在的搜索引擎越来越重视用户体验,因为一个网站的优质体现就是良好的用户体验,这才是重要的,要成为一名优秀的站长

「四川网站优化」seo搜索引优化如何做好? 「四川网站优化」seo搜索引优化如何做好?

建设好一个网站,如何开始做seo优化呢?这关乎到我们网站的是否利于优化,是否能够优化,以及利用强大的seo优化方法才是

网站关键词排名首页之相关性布局? 网站关键词排名首页之相关性布局?

让网站排名进入到百度首页是一项基本的目标,但是我们往往在优化的过程中,会有不同的烦恼,只有做好相关性和关键词优

如何分析seo数据,判断优化方向? 如何分析seo数据,判断优化方向?

不管你是拥有seo日益积累技术的优化大牛,还是初生牛犊的seo新手,对于seo都不敢说是真牛逼,其实做seo都是通过数据分析来

网站排名与关键词密度的核心关系! 网站排名与关键词密度的核心关系!

想要网站排名能够节节高,那么对于搜索引擎优化的客户就会产生一个共同的问题,对于关键词密度,大家都是一个比较模糊

「成都优化技术」网站搬家是否会对网站排名有影响? 「成都优化技术」网站搬家是否会对网站排名有影响?

作为一名站长,就要学会网站搬家这项技能,相信很多站长对于网站搬家不太清楚,其中有多少细节使得站长哭天喊地,但是

设置robots协议文件便于管理搜索引擎 设置robots协议文件便于管理搜索引擎

在很多年前,搜索引擎对于优化这一块只是停留在表格填写这一阶段,但是随着搜索引擎优化的不断改变,就开始要求网站有

「四川seo技巧」添加友链一定要注意哪些事项? 「四川seo技巧」添加友链一定要注意哪些事项?

我们都知道在进行网站优化中是分为内优(网站的内部优化)和外优(非网站内的优化,比如外链和友情链接)的,那么今天我们

  • 精彩推荐
  • 最近发布
分享到:
Copyright © 2016-2021 「蔡江博客」版权所有
蜀ICP备15028159号  
网站地图 | 技术支持:点瑞网络