成都seo博客

蔡江博客

CDN源站屏蔽搜索引擎爬虫

作者:choi 日期:2020-03-18 23:55 浏览:

  前言

  自从全站使用阿里云CDN之后,网站访问速度得到了很明显的提升,同时阿里云CDN的稳定性也很棒。但最近这段时间发现,百度和谷歌的爬虫开始爬我的源站了。这就有点麻烦了,要是不赶紧解决,给主站降权就不好了。

  思路

  因为蜘蛛爬了不该爬的东西,解决思路自然是限制蜘蛛的爬取。

  大概有三种方法可以限制蜘蛛的抓取:1.robots.txt文件

  robots文件用于限制搜索引擎蜘蛛的行为,在源站屏蔽蜘蛛主要是为了限制蜘蛛对同程序下不同域名的抓取。但是robots.txt文件没有可以限制域名相关的参数,只能限制蜘蛛对当前域名下文件的抓取,此路不通。2.设置META标签

  当访客访问的域名不是主站域名时,在网页的<meta>标签中植入限制蜘蛛活动的内容,实现起来比较简单,只用修改一下模板中的header文件即可。3.识别蜘蛛的UA,在网站程序上做限制

  获取访客的User-Agent,如果是搜索引擎蜘蛛的UA,则跳转至主站。也有一个问题,就是要去网上收集各家搜索引擎蜘蛛的UA,想着就累。

  人懒,就选择设置META标签的方法。

  实践

  第一步,在程序中获取访客访问的域名。这一歩就不做多介绍了,不同语言和环境有不同的方法获取,PHP可以通过如下语句获取访问者当前访问的域名:

  $_SERVER[‘SERVER_NAME’];

  第二步,如果不为主站域名,则输出HEAD中的META标签限制蜘蛛的活动:

  if ($_SERVER['SERVER_NAME'] != 'www.kungg.com' {

  echo '<META NAME="robots" CONTENT="noindex,nofollow">';


文章来源:未知
文章标题:CDN源站屏蔽搜索引擎爬虫
本文地址:http://www.chengduseo.cn/seo/11192.html
相关文章
成都SEO没技术要怎样做关键词优化排名? 成都SEO没技术要怎样做关键词优化排名?

网络推广排名难度大?SEO优化效果差?而今这些问题都是困扰着众多企业都营销难题,在搜索引擎算法不断地调整的当下,很多

成都网络优化效果实现最大化,SEO陷阱需避免 成都网络优化效果实现最大化,SEO陷阱需避免

网站推广要怎样获得排名?关键词要如何优化至首页?这是目前很多企业都面临着的优化难题,而今做网站推广要想可以在行业

企业网络营销要掌握哪些SEO优化技巧? 企业网络营销要掌握哪些SEO优化技巧?

现今网站推广的方式也多种多样,同时做关键词排名很多站长们都希望有更多关键词可以上首页,但理想和现实往往都是会有

企业网站优化踌躇不前?SEO技巧破"阴霾" 企业网站优化踌躇不前?SEO技巧破"阴霾"

网络SEO排名是一个老生常谈的话题,同时现今做企业网站SEO也是十分平常的事情,但并不是所有的网站均可将更多的关键词排

成都seo推广难度增速微妙?提升网站收录是前提 成都seo推广难度增速微妙?提升网站收录是前提

网站排名差?SEO优化权重低?这是目前很多站长们都十分焦虑的一个问题,同时也是比较现实的问题,如今很多行业网站都面临

企业SEO优化排名进驻前十需哪些优化"骚操作" 企业SEO优化排名进驻前十需哪些优化"骚操作"

萧山SEO分享,网站进军前十,站长需要做好哪些骚操作?这是个比较纠结的话题,毕竟对于站长来说,眼睁睁看着自己的网站

成都网站SEO效果停滞不前?关键词排名被哪些因素"打击"了 成都网站SEO效果停滞不前?关键词排名被哪些因素"打击"了

作为从事seo行业的人们总是面对着这样一个问题,seo见效为何如此之慢。通常这样的问题都是老板或者是客户向我们问起的,

德州网络SEO推广中,关键词如何进行优化布局? 德州网络SEO推广中,关键词如何进行优化布局?

网站关键词不分多个还是单一,关键词就是用户搜索的需求指向,想要做优化排名,那么德州网站优化公司,为你分析一下,

企业SEO推广内容价值提升技巧有哪些? 企业SEO推广内容价值提升技巧有哪些?

什么是有价值的网站内容? 镇江SEO认为,原创内容不一定都会得到搜索引擎的支持,并且伪原创也不一定得不到搜索引擎的支

成都网站SEO推广要怎样获得流量? 成都网站SEO推广要怎样获得流量?

由于现今行业中从事网络营销的企业数量有很多,同时诸多企业网站关键词排名效果都不仅如人意,很多企业网站都排名在

  • 精彩推荐
  • 最近发布
分享到:
Copyright © 2016-2021 「蔡江博客」版权所有
蜀ICP备15028159号-6  
网站地图 | 技术支持:点瑞网络