Robots文件标准写作 标准是什么?
搜索引擎三巨头打的不亦乐乎，但偶尔也合作一下。去年Google，雅虎，微软就合作，共同遵守统一的Sitemaps标准。前两天三巨头又同时宣布，共同遵守的robots.txt文件标准。Google，雅虎，微软各自在自己的官方博客上发了一篇帖子，公布三家都支持的robots.txt文件及Meta标签的标准，以及一些各自特有的标准。那Robots文件标准写作标准是什么?下面做一个总结。
三家都支持的robots文件记录包括：
Disallow – 告诉蜘蛛不要抓取某些文件或目录。如下面代码将阻止蜘蛛抓取所有的网站文件：
User-agent: *
Disallow: /
Allow – 告诉蜘蛛应该抓取某些文件。Allow和Disallow配合使用，可以告诉蜘蛛某个目录下，大部分都不抓取，只抓取一部分。如下面代码将使蜘蛛不抓取ab目录下其他文件，而只抓取其中cd下的文件：
User-agent: *
Disallow: /ab/
Allow: /ab/cd
$通配符 – 匹配URL结尾的字符。如下面代码将允许蜘蛛访问以。htm为后缀的URL：
User-agent: *
Allow: .htm$
*通配符 – 告诉蜘蛛匹配任意一段字符。如下面一段代码将禁止蜘蛛抓取所有htm文件：
User-agent: *
Disallow: /*.htm
Sitemaps位置 – 告诉蜘蛛你的网站地图在哪里，格式为：
Sitemap:
三家都支持的Meta标签包括：
NOINDEX – 告诉蜘蛛不要索引某个网页。
NOFOLLOW – 告诉蜘蛛不要跟踪网页上的链接。
NOSNIPPET – 告诉蜘蛛不要在搜索结果中显示说明文字。
NOARCHIVE – 告诉蜘蛛不要显示快照。
NOODP – 告诉蜘蛛不要使用开放目录中的标题和说明。
上面这些记录或标签，现在三家都共同支持。其中通配符好像以前雅虎微软并不支持。百度现在也支持Disallow，Allow及两种通配符。Meta标签我没有找到百度是否支持的官方说明。
只有Google支持的Meta标签有：
UNAVAILABLE_AFTER – 告诉蜘蛛网页什么时候过期。在这个日期之后，不应该再出现在搜索结果中。
NOIMAGEINDEX – 告诉蜘蛛不要索引页面上的图片。
NOTRANSLATE – 告诉蜘蛛不要翻译页面内容。
雅虎还支持Meta标签：
Crawl-Delay – 允许蜘蛛延时抓取的频率。
NOYDIR – 和NOODP标签相似，但是指雅虎目录，而不是开放目录。
Robots-nocontent – 告诉蜘蛛被标注的部分html不是网页内容的一部分，或者换个角度，告诉蜘蛛哪些部分是页面的主要内容(想被检索的内容)。
MSN还支持Meta标签：
Crawl-Delay
另外提醒大家注意的是，robots.txt文件可以不存在，返回404错误，意味着允许蜘蛛抓取所有内容。但抓取robots.txt文件时却发生超时之类的错误，可能导致搜索引擎不收录网站，因为蜘蛛不知道robots.txt文件是否存在或者里面有什么内容，这与确认文件不存在是不一样的。
文章来源：蔡江博客 文章标题：Robots文件标准写作 标准是什么? 本文地址：http://www.chengduseo.cn/seo/4591.html
德阳百度网站SEO策略有哪些？1.关键词研究和优化：在网站内容中使用有价值的关键词，并确保它们的出现频率和密度合理。同时，使用相关性高的关键词和长尾关键词以提高排名。2.内容质量：优化网站内容，使其与关键词相
德阳新网站优化锚文本链接应该如何做
德阳新网站优化锚文本链接应该如何做？1.找到合适的关键词：优化锚文本链接的第一步是找到合适的关键词。关键词应该和你的网站内容相关，并且是人们搜索的常用词汇。2.使用多样化的锚文本：使用多样化的锚文本可以增
德阳百度网站seo排名如何上升
德阳百度网站SEO排名如何上升?作为一名SEO优化专员，我们经常会被问到很多有关SEO的问题。其中，最常见的问题之一就是：如何提高百度网站的SEO排名？事实上，这并不是一个简单的问题，因为要使网站在百度排名中上升，需
德阳网站营销长尾词如何挖掘
如何挖掘德阳网站营销长尾词？德阳作为四川的一个发达城市，拥有着众多的企业和商家。在这个高度竞争的市场环境中，对于一家企业来说，如何在网站上获得优质流量，是十分重要的。而挖掘德阳网站营销长尾词，是获得优
成都企业网站seo长尾词如何挖掘
成都企业网站seo长尾词如何挖掘在如今竞争激烈的互联网市场中，让成都企业的网站排名靠前显得尤为重要。而在做SEO优化的过程中，长尾词的作用就不可忽视。那么，如何挖掘这些长尾词？这是许多成都企业主关心和需要解决
德阳网站优化seo如何避免过度优化
德阳网站优化seo如何避免过度优化德阳网站优化SEO是一门复杂的技能，需要一定的专业知识和经验。虽然过度优化可能会影响网站的排名和流量，但德阳网站优化SEO如何避免过度优化呢？以下是一些拓展延伸的建议。1.了解搜索
德阳网站营销优化主要包含哪些方面
德阳网站营销优化主要包含哪些方面？德阳网站营销优化主要包含以下方面：1.搜索引擎优化(SEO)：通过优化网站内容和结构，提高网站排名和流量。2.搜索引擎营销(SEM)：用付费广告获得更多的曝光与流量，提高转化率和ROI。3.
德阳网站优化seo如何提升点击率
为什么德阳网站优化SEO如何提升点击率？首先，流量与点击率密切相关。如果你想提高你的搜索引擎点击率，你需要注意以下几个方面：1.提高你的网站排名当你的网站排名处于搜索引擎结果的前几页时，你就可以获得更多的流
德阳网站seo优化长尾词排名如何提升
德阳网站SEO优化长尾词排名如何提升？随着互联网的快速发展，越来越多的企业开始关注SEO优化。无论是小型企业还是大型企业，都需要SEO优化来提高网站排名，吸引更多的潜在客户，从而增加业务量。而德阳网站SEO优化长尾词
成都企业网站seo优化收录为何下降
为什么成都企业网站SEO优化收录下降？在过去的一段时间里，许多成都企业网站的SEO优化收录量开始出现下降，这对于企业的网络营销来说是一个严峻的挑战。那么，为什么成都企业网站SEO优化收录下降呢？1.网站内容质量下降
- 精彩推荐
- 最新案例
