成都seo博客

蔡江博客

如何有效的屏蔽百度蜘蛛

作者:caijiang 日期:2018-10-27 18:01 浏览:147

  很多时候,我们都不会去把百度蜘蛛去屏蔽掉,但是也有需要去屏蔽一些不必要的抓取,比如一些大型的网站门户网,有登录页面或者是注册页面,还有一些不想让百度蜘蛛抓取文件都可以利用robots协议来完成,那么重庆SEO就讲解哈屏蔽百度蜘蛛的具体方法。

  一、robots协议

  robots协议相信大家都不陌生,首先既然要用到robots协议,那么我们就要先创建一个记事本,把记事本重命名为robots,然后我们写下robots协议具体如下:

  User-agent: BadBot

  Disallow: /

  然后保存后通过FTP工具上传到网站根目录即可。

  二、robots Meta标签

  robots Meta标签也可以屏蔽百度蜘蛛抓取,这种方法与robots类似,但是还是部分搜索引擎不支持,robots Meta用来对某几个页面单独设置时使用。其代码是写在“<head></head>”之间,如下所示:

  <head>

  <meta name=”robots” content=”index,follow” />

  </head>

  三、.htaccess屏蔽

  如果说使用robots协议无法全部屏蔽你的网站,那么你可以在你的网站根目录下找到.htaccess屏蔽代码如下:

  方法1:

  RewriteEngine on

  RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC]

  RewriteRule .* – [F]

  方法2:

  SetEnvIfNoCase User-Agent “^Baiduspider” bad_bot

  <Limit GET POST>

  Order Allow,Deny

  Allow from all

  Deny from env=bad_bot

  </Limit>

  总结:百度蜘蛛屏蔽方法有许多,以上方法可参考,重庆SEO觉得还是以robots协议较好,所以其他方法及时可以用,但是也不建议去做,因为一步小心搞错了,就会导致麻烦不断!


文章来源:未知
文章标题:如何有效的屏蔽百度蜘蛛
本文地址:http://www.chengduseo.cn/bianji/734.html
相关文章
那些让人欲罢不能的SEO和Social工具 那些让人欲罢不能的SEO和Social工具

作为一个工具控,不推荐工具就手软啊,今天隆重给大家介绍17个灰常牛逼的SEO和Social工具。 页面分析工具: Screaming Frog 抓取

熊掌号彻底凉了:入口已导向百家号和小程序 熊掌号彻底凉了:入口已导向百家号和小程序

据网友发帖爆料熊掌号ID页也发生了重大改变,当小编再次进入熊掌号ID首页一栏,竟直接跳转到了直指百家号和小程序这个

零基础新手seo学习必备的入门教程 零基础新手seo学习必备的入门教程

如今想学习SEO其实很容易,在网上的各大搜索引擎中有大量的SEO教程,包括但不限于入门教程,自学视频,QQ公开课等等,但

成都seo❄外链建设优化的黄金法则 成都seo❄外链建设优化的黄金法则

虽然对于SEO来说,外链的作用大不如前,但仍旧是搜索引擎判断你的网站实力的标准之一,丰富的外链资源可以帮助你事半功

张岩seo:新站SEO优化的注意事项 张岩seo:新站SEO优化的注意事项

可能每个新手SEO都有过这样的经历,好不容易做了个新站,每天精心呵护,唯恐照顾不周导致出现问题。就这样一天天的看着

搜索引擎如何量化网站的用户体验 搜索引擎如何量化网站的用户体验

网站SEO优化利用内容行销就必需所提供的内容对潜在客户有价值,有价值的内容能引起读者兴趣,促进分亨,强化品牌效应,

安徽seo❄中小型企业网站的SEO优化方案 安徽seo❄中小型企业网站的SEO优化方案

如今越来越多的中小型企业开始搭建自己的企业站,可是网站上线以后,最重要的是要有排名啊!如果企业网站很长时间都没

【三明seo】百度算法解读之动态索引对SEO的帮助 【三明seo】百度算法解读之动态索引对SEO的帮助

上一篇文章搜索引擎SEO讲到倒排索引的静态索引,那这篇文章我们来聊聊动态索引。因为一旦索引建立好后,那么就能投入到

seo三人行免费视频培训教程分享 seo三人行免费视频培训教程分享

SEO三人行视频教程有SEO三人行录制,由老唐SEO教程整理并免费发布,本套教程包含初级、中级和高级三部分,一共11讲,从

百度SEO教程之移动搜索优化 百度SEO教程之移动搜索优化

当前互联网流量移动搜索流量远超PC,所以今天老唐SEO就来说说网站移动端的SEO优化,希望对大家有所帮助。 一、什么是移动

  • 精彩推荐
  • 最近发布
分享到:
Copyright © 2016-2021 「蔡江博客」版权所有
蜀ICP备15028159号  
网站地图 | 技术支持:点瑞网络