成都seo博客

蔡江博客

设置robots协议文件便于管理搜索引擎

作者:choi 日期:2019-05-25 16:36 浏览:

  在很多年前,搜索引擎对于优化这一块只是停留在表格填写这一阶段,但是随着搜索引擎优化的不断改变,就开始要求网站有robots协议文件的要求的,因为这样更利于管理搜索蜘蛛,下面成都seo就探讨一下!

  什么是搜索引擎蜘蛛?

  搜索引擎蜘蛛是一种自动程序,它沿着从一个网页到另一个网页的链接在互联网上爬行,为内容编制索引并将其添加到数据库中。这意味着,只要网站有一个来自其他网站且搜索引擎已经知道的链接,然后它会找到随着时间的推移。链接到站点越多,发生这种情况的速度就越快。
 

网站搜索引擎优化
 

  不幸的是,这些蜘蛛可以非常密集地访问网站。这是因为他们加载每个页面和文件,以便为数据库编目。蜘蛛会导致虚拟专用数据库负载过高,可能会给访问者带来问题。为了帮助解决这些负载问题,有一种标准化的方法来控制这些爬虫的行为,方法是将名为robots.txt的文件放在网站的根目录中。但是,没有任何强制遵守此文件的内容。所以,虽然大多数网络搜索引擎爬虫会服从它,但有些爬虫可能不会。

  robots.txt文件有特定的形式,请看以下示例:

  User-agent: googlebot

  Disallow: /images

  Allow: /images/metadata

  crawl-delay: 2

  sitemap: /sitemap.xml

  按顺序查看每个指令行:

  首先从“User-agent”(用户代理)行开始:机器人或网络浏览器将使用用户代理来标识自身,而各种搜索引擎爬虫将拥有自己的用户代理。遵循“User-agent”指令的任何其他指令将仅对给定的用户代理有效。带星号(*)的用户代理将被视为引用所有用户代理。在示例文件中,该指令与googlebot搜索引擎蜘蛛程序相关。

  “Disallow”(禁止)指令用于告诉搜索引擎蜘蛛程序有关不加载的目录或文件。需要注意的是,尽管搜索引擎蜘蛛不会加载文件,如果它跟踪到它们的链接,它仍然会在搜索结果中列出这些文件。因此,它不能用来阻止页面出现在搜索结果中。“Disallow”可能是所有搜索引擎蜘蛛都支持的唯一指令。因此在示例中,不允许爬行/images目录。
 

网站优化效果分析
 

  “Allow”(允许)指令可用于指定搜索引擎蜘蛛可以加载的禁止目录中的文件或目录。虽然并不是所有的搜索引擎蜘蛛都支持这个指令,但大多数蜘蛛都支持。在示例中,允许蜘蛛加载 /images/metadata目录中的文件。

  下一个指令是“crawl-delay”(爬行延迟),它以秒为单位给出蜘蛛在加载下一页之前将等待的数字。这是降低蜘蛛速度的最好方法,尽管可能不想让数字太高,除非站点上只有很少的页面,因为这将极大地限制蜘蛛每天可以加载的页面数量。

  最后,是“sitemap”(网站地图)指令,可以将蜘蛛引导到网站的XML网站地图文件,它也可以用来帮助网站进行索引。

  控制搜索引擎蜘蛛

  在robots.txt中可以填充尽可能多或很少的用户代理,以控制访问站点的方式。对于所有蜘蛛来说,从一个用户代理区开始,然后为特定的蜘蛛添加单独的部分是有意义的,因为它们可能会给站点带来问题。创建了robots.txt之后,就需要对它进行测试,以确保它是有效的。如果语法中出现输入错误或拼写错误,则可能会导致蜘蛛忽略正在设置的规则。幸运的是,有很多测试它的工具,还有一些主要的搜索引擎,比如谷歌提供的测试工具。

  所以,对于蜘蛛的有效管理可以加强我们我们网站的收录和安全防护等等,掌握蜘蛛尿性,对于排名你就会如鱼得水。


文章来源:未知
文章标题:设置robots协议文件便于管理搜索引擎
本文地址:http://www.chengduseo.cn/seo/9172.html
相关文章
网站SEO推广排名没点击?内容标题大众化 网站SEO推广排名没点击?内容标题大众化

企业网络优化过程中,网站内容优化是搜索引擎优化的基础,要想网站能够更多的用户流浪访问,那么文章的质量上就要以原

网站SEO排名效果毫无转变?网络优化推广并非顾此失彼 网站SEO排名效果毫无转变?网络优化推广并非顾此失彼

企业现今之所以会选择做网站推广,其中大部分的因素都是想要从搜索引擎中来获取更多的用户流量,但这个前提是网站能够

成都网络SEO排名维持原状?是触碰"度娘"红线了吗? 成都网络SEO排名维持原状?是触碰"度娘"红线了吗?

对于企业做网站推广来说,他们是只看重效果而不注重过程的,因此很多老板都对网站的排名问题十分关注,有时候在做一个

网络seo转化难?网站策略优化轻松自如 网络seo转化难?网站策略优化轻松自如

近来,同一些百度SEO行业大佬交流,自己也有了很多的搜索引擎优化心得,重新认识了网站推广初期对一个网站左右一个优化

网站SEO优化需循序渐进,反之过满则亏 网站SEO优化需循序渐进,反之过满则亏

企业做网络关键词推广的时候,只有将网站的核心词做上首页,则能够获得更多的用户流量,而一个没有用户访问的网站,就

网站内链优化可有可无?那SEO优化上排名难如登天 网站内链优化可有可无?那SEO优化上排名难如登天

说起网站内链,对于外行人来说这都是可有可无的,然而对于内行人来说,这就是无比重要的,网站内链优化的好坏,对网站

网站SEO推广的优势显著!企业网络营销的阳关大道 网站SEO推广的优势显著!企业网络营销的阳关大道

企业做好网络推广,就是跻身网络市场中的名片,不仅仅是能够做好品牌宣传,提升企业的形象,同时也可以拓宽企业的销售

网络SEO黔驴技穷?网站关键词优化使你绝处逢生 网络SEO黔驴技穷?网站关键词优化使你绝处逢生

若是不清楚网站优化的人,在做SEO推广的时候,肯定是不知道网站关键词的选择及优化对于SEO优化来说是有多么的重要,很多

分析网站优化的近况势在必行 分析网站优化的近况势在必行

做网络推广的过程中,并不是一味的做关键词优化,同时也要随时监控网站的优化现状,根据当下优化问题,及时的调整优化

成都网络推广做外链优化是否多此一举? 成都网络推广做外链优化是否多此一举?

企业做网络优化无非就是想要提升自己品牌的知名度或者是增加自己的产品销量,但要获得这么多好处的前提是能够将网站关

  • 精彩推荐
  • 最近发布
分享到:
Copyright © 2016-2021 「蔡江博客」版权所有
蜀ICP备15028159号  
网站地图 | 技术支持:点瑞网络