成都seo博客

蔡江博客

设置robots协议文件便于管理搜索引擎

作者:choi 日期:2019-05-25 16:36 浏览:

  在很多年前,搜索引擎对于优化这一块只是停留在表格填写这一阶段,但是随着搜索引擎优化的不断改变,就开始要求网站有robots协议文件的要求的,因为这样更利于管理搜索蜘蛛,下面成都seo就探讨一下!

  什么是搜索引擎蜘蛛?

  搜索引擎蜘蛛是一种自动程序,它沿着从一个网页到另一个网页的链接在互联网上爬行,为内容编制索引并将其添加到数据库中。这意味着,只要网站有一个来自其他网站且搜索引擎已经知道的链接,然后它会找到随着时间的推移。链接到站点越多,发生这种情况的速度就越快。
 

网站搜索引擎优化
 

  不幸的是,这些蜘蛛可以非常密集地访问网站。这是因为他们加载每个页面和文件,以便为数据库编目。蜘蛛会导致虚拟专用数据库负载过高,可能会给访问者带来问题。为了帮助解决这些负载问题,有一种标准化的方法来控制这些爬虫的行为,方法是将名为robots.txt的文件放在网站的根目录中。但是,没有任何强制遵守此文件的内容。所以,虽然大多数网络搜索引擎爬虫会服从它,但有些爬虫可能不会。

  robots.txt文件有特定的形式,请看以下示例:

  User-agent: googlebot

  Disallow: /images

  Allow: /images/metadata

  crawl-delay: 2

  sitemap: /sitemap.xml

  按顺序查看每个指令行:

  首先从“User-agent”(用户代理)行开始:机器人或网络浏览器将使用用户代理来标识自身,而各种搜索引擎爬虫将拥有自己的用户代理。遵循“User-agent”指令的任何其他指令将仅对给定的用户代理有效。带星号(*)的用户代理将被视为引用所有用户代理。在示例文件中,该指令与googlebot搜索引擎蜘蛛程序相关。

  “Disallow”(禁止)指令用于告诉搜索引擎蜘蛛程序有关不加载的目录或文件。需要注意的是,尽管搜索引擎蜘蛛不会加载文件,如果它跟踪到它们的链接,它仍然会在搜索结果中列出这些文件。因此,它不能用来阻止页面出现在搜索结果中。“Disallow”可能是所有搜索引擎蜘蛛都支持的唯一指令。因此在示例中,不允许爬行/images目录。
 

网站优化效果分析
 

  “Allow”(允许)指令可用于指定搜索引擎蜘蛛可以加载的禁止目录中的文件或目录。虽然并不是所有的搜索引擎蜘蛛都支持这个指令,但大多数蜘蛛都支持。在示例中,允许蜘蛛加载 /images/metadata目录中的文件。

  下一个指令是“crawl-delay”(爬行延迟),它以秒为单位给出蜘蛛在加载下一页之前将等待的数字。这是降低蜘蛛速度的最好方法,尽管可能不想让数字太高,除非站点上只有很少的页面,因为这将极大地限制蜘蛛每天可以加载的页面数量。

  最后,是“sitemap”(网站地图)指令,可以将蜘蛛引导到网站的XML网站地图文件,它也可以用来帮助网站进行索引。

  控制搜索引擎蜘蛛

  在robots.txt中可以填充尽可能多或很少的用户代理,以控制访问站点的方式。对于所有蜘蛛来说,从一个用户代理区开始,然后为特定的蜘蛛添加单独的部分是有意义的,因为它们可能会给站点带来问题。创建了robots.txt之后,就需要对它进行测试,以确保它是有效的。如果语法中出现输入错误或拼写错误,则可能会导致蜘蛛忽略正在设置的规则。幸运的是,有很多测试它的工具,还有一些主要的搜索引擎,比如谷歌提供的测试工具。

  所以,对于蜘蛛的有效管理可以加强我们我们网站的收录和安全防护等等,掌握蜘蛛尿性,对于排名你就会如鱼得水。


文章来源:未知
文章标题:设置robots协议文件便于管理搜索引擎
本文地址:http://www.chengduseo.cn/seo/9172.html
相关文章
什么是网站的内容源?网站内容源怎么寻找? 什么是网站的内容源?网站内容源怎么寻找?

相信大都的SEO把网站成立运营起来后比力头痛的问题就是网站内容源的问题,各人都知道网站要给访问者提供高质量的原创或

模板网站和定制网站哪个好? 模板网站和定制网站哪个好?

互联网+时代,许多公司会通过建设网站,在互联网上扩展其营销渠道,找格子网络建设网站,主要有模板网站和定制网站两

网站建设推广 值得关注的5个SEO问题! 网站建设推广 值得关注的5个SEO问题!

如果你是一个相对成熟的企业,我们在建立网站的时候,总是会让网站开发人员,撰写一个网站策划书,通常而言,我们在做

网站流量排名 独辟蹊径的4个策略! 网站流量排名 独辟蹊径的4个策略!

SEO一直以来是我的一个兴趣,经常会有人讲,你如何保持长期的持续不断的输出内容,回答这个问题很简单,我想这和很多朋

博客优化:网站内容应该更新还是增加? 博客优化:网站内容应该更新还是增加?

搜索引擎喜欢在其查询结果中包含网页,这些网页直接或通过介绍和链接到其他页面来提供大量相关内容。很难反对内容为王

响应式网站怎么做seo优化? 响应式网站怎么做seo优化?

响应式网站相比传统网站更加注重用户面,而不是展示面。一些传统的网站,有的是很多特效动画(太花俏),有的是强烈的推

搜索引擎战略会给传统企业带来哪些价值? 搜索引擎战略会给传统企业带来哪些价值?

有非常多的传统企业的市场和营销部门的人员对大会非常有兴趣,他们希望通过参加大会掌握搜索引擎营销和搜索引擎优化的

网站seo优化排名如何获取好的展示效果? 网站seo优化排名如何获取好的展示效果?

网站seo优化就是指基于网站建设平台所进行的一系列seo推广行为.为其网站的宣传做铺垫.指通过对网站内部调整优化及站外优

SEO推广团队如何管理更高效? SEO推广团队如何管理更高效?

现如今无论是公司还是专业的网络公司都会组建自己的SEO推广团队,能够更有效地做好网站SEO,可是要充分发挥SEO推广团队的

WordPress插件被曝重大bug,超20万个网站受影响 WordPress插件被曝重大bug,超20万个网站受影响

近日,WebARX 安全公司在官网披露, WordPress 中一款名为 ThemeGrill Demo Importer 的插件存在重大 bug,它允许给未经身份验证的用户

  • 精彩推荐
  • 最近发布
分享到:
Copyright © 2016-2021 「蔡江博客」版权所有
蜀ICP备15028159号-6  
网站地图 | 技术支持:点瑞网络