成都seo博客

蔡江博客

CDN源站屏蔽搜索引擎爬虫

作者:choi 日期:2020-03-18 23:55 浏览:

  前言

  自从全站使用阿里云CDN之后,网站访问速度得到了很明显的提升,同时阿里云CDN的稳定性也很棒。但最近这段时间发现,百度和谷歌的爬虫开始爬我的源站了。这就有点麻烦了,要是不赶紧解决,给主站降权就不好了。

  思路

  因为蜘蛛爬了不该爬的东西,解决思路自然是限制蜘蛛的爬取。

  大概有三种方法可以限制蜘蛛的抓取:1.robots.txt文件

  robots文件用于限制搜索引擎蜘蛛的行为,在源站屏蔽蜘蛛主要是为了限制蜘蛛对同程序下不同域名的抓取。但是robots.txt文件没有可以限制域名相关的参数,只能限制蜘蛛对当前域名下文件的抓取,此路不通。2.设置META标签

  当访客访问的域名不是主站域名时,在网页的<meta>标签中植入限制蜘蛛活动的内容,实现起来比较简单,只用修改一下模板中的header文件即可。3.识别蜘蛛的UA,在网站程序上做限制

  获取访客的User-Agent,如果是搜索引擎蜘蛛的UA,则跳转至主站。也有一个问题,就是要去网上收集各家搜索引擎蜘蛛的UA,想着就累。

  人懒,就选择设置META标签的方法。

  实践

  第一步,在程序中获取访客访问的域名。这一歩就不做多介绍了,不同语言和环境有不同的方法获取,PHP可以通过如下语句获取访问者当前访问的域名:

  $_SERVER[‘SERVER_NAME’];

  第二步,如果不为主站域名,则输出HEAD中的META标签限制蜘蛛的活动:

  if ($_SERVER['SERVER_NAME'] != 'www.kungg.com' {

  echo '<META NAME="robots" CONTENT="noindex,nofollow">';


文章来源:未知
文章标题:CDN源站屏蔽搜索引擎爬虫
本文地址:http://www.chengduseo.cn/seo/11192.html
相关文章
新站易上排名及权重的SEO技巧分析 新站易上排名及权重的SEO技巧分析

对于网络营销来说,做完网站布局和建站才是SEO优化的开始,对于一个要想在搜索引擎中冲击较好排名的企业网站来说,并不

SEO推广网站排名快速上词方式 SEO推广网站排名快速上词方式

为何网站每天更新原创优质内容没有排名?为什么每天做高质量的外链和友链网站关键词难以上首页?但抄袭他人网站内容却能

企业SEO如何做引流并实现转化? 企业SEO如何做引流并实现转化?

现在做网站推广是企业十分常见的营销推广模式,通过网站推广可以提升关键词在搜索疫情中的排名位置,进而吸引更多用户

不懂SEO技术网站营销推广很难吗? 不懂SEO技术网站营销推广很难吗?

针对这个问题,每个SEOer的理解都不同,因为彼此对网络优化的学习不同,理解不同,因此看待网站推广的角度和方式也都存

网络SEO怎么做才利于网站收录呢? 网络SEO怎么做才利于网站收录呢?

网络推广是目前现今众多企业都比较信赖的推广模式,而今做网站排名对于很多企业来说,做关键词排名是一件比较棘手的事

餐饮业与网络SEO的合谋是否是新风口? 餐饮业与网络SEO的合谋是否是新风口?

在网络不断发展的时代,现今发展都以流量为主,谁能够在网络中占据更多的用户流量,自然能够获得的回报也将十分丰厚,

餐饮数字营销,网络推广助攻加盟数据高涨 餐饮数字营销,网络推广助攻加盟数据高涨

餐饮业历来都广受投资者们的喜爱,作为入行门槛低,利润高的行业,给创业者们提供了诸多的就业机会。但目前餐饮市场受

餐饮业网络营销举步维艰?SEO优化引流"重器" 餐饮业网络营销举步维艰?SEO优化引流"重器"

疫情后,给人们的生产生活带来了巨大的打击,同行很多行业也似乎被按下了暂停键,短时间内也难以恢复如初;因此很多大

餐饮数据会说话:SEO营销如何助力餐饮加盟数据暴增 餐饮数据会说话:SEO营销如何助力餐饮加盟数据暴增

现今很多人都有辞职不干,打算创业的想法,而今做餐饮就是很多人心中的创业方向,毕竟餐饮市场的利润大,加入门槛低。

网站SEO关键五要素有哪些? 网站SEO关键五要素有哪些?

现在企业做关键词优化是一件十分普遍的事情,但要想能够在搜索时引擎中获得更好的关键词排名,那么其中就有些重要的优

  • 精彩推荐
  • 最近发布
分享到:
Copyright © 2016-2021 「蔡江博客」版权所有
蜀ICP备15028159号-6  
网站地图 | 技术支持:点瑞网络