27 10月

如何有效的屏蔽百度蜘蛛

当前位置: 成都SEO > 优化边际 > 如何有效的屏蔽百度蜘蛛
分类: 优化边际 时间:2018-10-27 18:01 作者:蔡江SEO 围观

  很多时候,我们都不会去把百度蜘蛛去屏蔽掉,但是也有需要去屏蔽一些不必要的抓取,比如一些大型的网站门户网,有登录页面或者是注册页面,还有一些不想让百度蜘蛛抓取文件都可以利用robots协议来完成,那么重庆SEO就讲解哈屏蔽百度蜘蛛的具体方法。

  一、robots协议

  robots协议相信大家都不陌生,首先既然要用到robots协议,那么我们就要先创建一个记事本,把记事本重命名为robots,然后我们写下robots协议具体如下:

  User-agent: BadBot

  Disallow: /

  然后保存后通过FTP工具上传到网站根目录即可。

  二、robots Meta标签

  robots Meta标签也可以屏蔽百度蜘蛛抓取,这种方法与robots类似,但是还是部分搜索引擎不支持,robots Meta用来对某几个页面单独设置时使用。其代码是写在“<head></head>”之间,如下所示:

  <head>

  <meta name=”robots” content=”index,follow” />

  </head>

  三、.htaccess屏蔽

  如果说使用robots协议无法全部屏蔽你的网站,那么你可以在你的网站根目录下找到.htaccess屏蔽代码如下:

  方法1:

  RewriteEngine on

  RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC]

  RewriteRule .* – [F]

  方法2:

  SetEnvIfNoCase User-Agent “^Baiduspider” bad_bot

  <Limit GET POST>

  Order Allow,Deny

  Allow from all

  Deny from env=bad_bot

  </Limit>

  总结:百度蜘蛛屏蔽方法有许多,以上方法可参考,重庆SEO觉得还是以robots协议较好,所以其他方法及时可以用,但是也不建议去做,因为一步小心搞错了,就会导致麻烦不断!

文章作者:蔡江SEO
文章标题:如何有效的屏蔽百度蜘蛛
本文地址:http://www.chengduseo.cn/bianji/734.html

相关文章:


返回顶部