成都seo博客

蔡江博客

robots协议最容易忽略的小细节

作者:choi 日期:2019-03-03 16:17 浏览:414

  在我看来robots协议就是站长行使网站支配权的执行文件,这是我们作为站长最基本的权利。它是搜索引擎蜘蛛爬取网站之前要面对的第一道关口,所以robots协议的重要性也是可想而知了。都说细节决定成败,那么越重要的东西细节就 […]

  在我看来robots协议就是站长行使网站支配权的执行文件,这是我们作为站长最基本的权利。它是搜索引擎蜘蛛爬取网站之前要面对的第一道关口,所以robots协议的重要性也是可想而知了。都说细节决定成败,那么越重要的东西细节就显得尤为重要,往往自己一不小心忽略的一个细节到最后就可能会成为你的致命一击。本人之所以会这么说,是因为我差点就成了这个问题的反面教材了,还好发现的及时也算是亡羊补牢吧!之所以想立即分享给大家,就是希望大家以后自己做站的时候要避免犯类似的错误。

  事情其实就发生在今天,经过是这样的:因为重庆SEO博客也刚做好不久,前几天网站上线之后发现还有很多小问题需要处理,为了避免网站还在调整的过程中就被搜索引擎抓取到,所以我在robots协议里面写了禁止所有搜索引擎爬取网站任何部分的指令,网站的调整一直持续了几天(之所以会弄这么长时间是因为我是一个不能容忍瑕疵的人,不知道这算不算强迫症的一种),直到昨天也就是2月3号才全面竣工,但是这期间我每天都在坚持添加原创文章。昨天网站检查完毕,全部问题都解决好以后,我就把robots协议重新更换了过来,并且发了一篇帖子引了蜘蛛希望爬虫能快点过来爬我的网站。就这样,到了今天早上发现网站还是没有被收录,于是我就去百度站长工具平台看一下我的网站到底是个什么情况,进去一看吓我一跳,因为我看到了下面一则(如图所示)信息:

  我的网站竟然对百度进行了全面封禁,检测时间是在今天(2月4号)早上凌晨5点整的时候,这让我像丈二的和尚摸不着头脑了,太不科学了,因为我在昨天2月3号上午已经把网站的robots协议更改过来了,真的是太奇怪了。就在我百思不得其解的时候总算是通过站长平台工具的“robots检测”找到了答

  原来百度蜘蛛早就在我网站蜘蛛上线后的第三天抓取了我网站的robots协议,所以当前生效的协议也就是当时它抓取到的我把蜘蛛全部屏蔽时的那个,而本站最新的robot协议还没有生效。这下我总算是明白了过来了,既然弄清楚了原因那事情就好办了。于是我立即把协议提交更新了一下


文章来源:蔡江博客
文章标题:robots协议最容易忽略的小细节
本文地址:http://www.chengduseo.cn/seo/5813.html
相关文章
德阳百度网站seo策略有哪些 德阳百度网站seo策略有哪些

德阳百度网站SEO策略有哪些?1.关键词研究和优化:在网站内容中使用有价值的关键词,并确保它们的出现频率和密度合理。同时,使用相关性高的关键词和长尾关键词以提高排名。2.内容质量:优化网站内容,使其与关键词相

德阳新网站优化锚文本链接应该如何做 德阳新网站优化锚文本链接应该如何做

德阳新网站优化锚文本链接应该如何做?1.找到合适的关键词:优化锚文本链接的第一步是找到合适的关键词。关键词应该和你的网站内容相关,并且是人们搜索的常用词汇。2.使用多样化的锚文本:使用多样化的锚文本可以增

德阳百度网站seo排名如何上升 德阳百度网站seo排名如何上升

德阳百度网站SEO排名如何上升?作为一名SEO优化专员,我们经常会被问到很多有关SEO的问题。其中,最常见的问题之一就是:如何提高百度网站的SEO排名?事实上,这并不是一个简单的问题,因为要使网站在百度排名中上升,需

德阳网站营销长尾词如何挖掘 德阳网站营销长尾词如何挖掘

如何挖掘德阳网站营销长尾词?德阳作为四川的一个发达城市,拥有着众多的企业和商家。在这个高度竞争的市场环境中,对于一家企业来说,如何在网站上获得优质流量,是十分重要的。而挖掘德阳网站营销长尾词,是获得优

成都企业网站seo长尾词如何挖掘 成都企业网站seo长尾词如何挖掘

成都企业网站seo长尾词如何挖掘在如今竞争激烈的互联网市场中,让成都企业的网站排名靠前显得尤为重要。而在做SEO优化的过程中,长尾词的作用就不可忽视。那么,如何挖掘这些长尾词?这是许多成都企业主关心和需要解决

德阳网站优化seo如何避免过度优化 德阳网站优化seo如何避免过度优化

德阳网站优化seo如何避免过度优化德阳网站优化SEO是一门复杂的技能,需要一定的专业知识和经验。虽然过度优化可能会影响网站的排名和流量,但德阳网站优化SEO如何避免过度优化呢?以下是一些拓展延伸的建议。1.了解搜索

德阳网站营销优化主要包含哪些方面 德阳网站营销优化主要包含哪些方面

德阳网站营销优化主要包含哪些方面?德阳网站营销优化主要包含以下方面:1.搜索引擎优化(SEO):通过优化网站内容和结构,提高网站排名和流量。2.搜索引擎营销(SEM):用付费广告获得更多的曝光与流量,提高转化率和ROI。3.

德阳网站优化seo如何提升点击率 德阳网站优化seo如何提升点击率

为什么德阳网站优化SEO如何提升点击率?首先,流量与点击率密切相关。如果你想提高你的搜索引擎点击率,你需要注意以下几个方面:1.提高你的网站排名当你的网站排名处于搜索引擎结果的前几页时,你就可以获得更多的流

德阳网站seo优化长尾词排名如何提升 德阳网站seo优化长尾词排名如何提升

德阳网站SEO优化长尾词排名如何提升?随着互联网的快速发展,越来越多的企业开始关注SEO优化。无论是小型企业还是大型企业,都需要SEO优化来提高网站排名,吸引更多的潜在客户,从而增加业务量。而德阳网站SEO优化长尾词

成都企业网站seo优化收录为何下降 成都企业网站seo优化收录为何下降

为什么成都企业网站SEO优化收录下降?在过去的一段时间里,许多成都企业网站的SEO优化收录量开始出现下降,这对于企业的网络营销来说是一个严峻的挑战。那么,为什么成都企业网站SEO优化收录下降呢?1.网站内容质量下降

  • 精彩推荐
  • 最新案例
分享到:
Copyright © 2016-2021 「蔡江博客」版权所有
蜀ICP备15028159号-6  
网站地图 | 技术支持:点瑞网络