成都seo博客

蔡江博客

如何正确书写robots协议?

作者:caijiang 日期:2018-10-27 18:01 浏览:275

  robots协议如何去写?其实很简单,但是在学习如何写robots协议前,重庆SEO将先为大家讲一下,robots协议的符号理解!这样才能有效的运用好robots协议!

  一、robots协议是什么

  robots协议就是指定搜索引擎蜘蛛根据所写的robots协议爬寻,并且关系到所写的命令去执行。

  二、robots协议里的符号介绍与写法

  1.User-agent: 给不同的蜘蛛定义相应的规则

  2.Disallow: 不需要访问的某一条路径

  3.Allow: 允许某一条路径抓取

  举例说明;

  User-agent: * (以下内容适用所有搜索引擎)

  Disallow: / (禁止搜索引擎抓取网站内任何内容)

  Disallow: /*?* (禁止搜索引擎抓取动态页)

  Disallow: /admin/(禁止搜索引擎抓取管理员的内容)

  Allow: /page/ (允许搜索引擎抓取的某条连接)

  Sitemap: http://www.chengduseo.cn/sitemap.html(希望百度抓取的网站地图)

  Sitemap: http://www.chengduseo.cn/sitemap.xml(希望谷歌抓取的网站地图)

  链接:在网站中出现死链的时候,我们就可以用robots.txt来屏蔽一下,告知搜索引擎,这些链接不要被抓取。

  地图:希望搜索引擎抓取网站地图时,我们就可以把网站地图放到robots.txt文件内。

  总结:robots协议写法有很多,如果不是很懂千万不要去整,不然你的网站会有不一样的效果出现的(哈哈),写的时候也要注意一定认真看清楚,不然被屏蔽了也找不到什么原因!所以在此提醒大家写robots协议一定要注意!


文章来源:未知
文章标题:如何正确书写robots协议?
本文地址:http://www.chengduseo.cn/bianji/740.html
相关文章
那些让人欲罢不能的SEO和Social工具 那些让人欲罢不能的SEO和Social工具

作为一个工具控,不推荐工具就手软啊,今天隆重给大家介绍17个灰常牛逼的SEO和Social工具。 页面分析工具: Screaming Frog 抓取

熊掌号彻底凉了:入口已导向百家号和小程序 熊掌号彻底凉了:入口已导向百家号和小程序

据网友发帖爆料熊掌号ID页也发生了重大改变,当小编再次进入熊掌号ID首页一栏,竟直接跳转到了直指百家号和小程序这个

零基础新手seo学习必备的入门教程 零基础新手seo学习必备的入门教程

如今想学习SEO其实很容易,在网上的各大搜索引擎中有大量的SEO教程,包括但不限于入门教程,自学视频,QQ公开课等等,但

成都seo❄外链建设优化的黄金法则 成都seo❄外链建设优化的黄金法则

虽然对于SEO来说,外链的作用大不如前,但仍旧是搜索引擎判断你的网站实力的标准之一,丰富的外链资源可以帮助你事半功

张岩seo:新站SEO优化的注意事项 张岩seo:新站SEO优化的注意事项

可能每个新手SEO都有过这样的经历,好不容易做了个新站,每天精心呵护,唯恐照顾不周导致出现问题。就这样一天天的看着

搜索引擎如何量化网站的用户体验 搜索引擎如何量化网站的用户体验

网站SEO优化利用内容行销就必需所提供的内容对潜在客户有价值,有价值的内容能引起读者兴趣,促进分亨,强化品牌效应,

安徽seo❄中小型企业网站的SEO优化方案 安徽seo❄中小型企业网站的SEO优化方案

如今越来越多的中小型企业开始搭建自己的企业站,可是网站上线以后,最重要的是要有排名啊!如果企业网站很长时间都没

【三明seo】百度算法解读之动态索引对SEO的帮助 【三明seo】百度算法解读之动态索引对SEO的帮助

上一篇文章搜索引擎SEO讲到倒排索引的静态索引,那这篇文章我们来聊聊动态索引。因为一旦索引建立好后,那么就能投入到

seo三人行免费视频培训教程分享 seo三人行免费视频培训教程分享

SEO三人行视频教程有SEO三人行录制,由老唐SEO教程整理并免费发布,本套教程包含初级、中级和高级三部分,一共11讲,从

百度SEO教程之移动搜索优化 百度SEO教程之移动搜索优化

当前互联网流量移动搜索流量远超PC,所以今天老唐SEO就来说说网站移动端的SEO优化,希望对大家有所帮助。 一、什么是移动

  • 精彩推荐
  • 最近发布
分享到:
Copyright © 2016-2021 「蔡江博客」版权所有
蜀ICP备15028159号  
网站地图 | 技术支持:点瑞网络