成都seo博客

蔡江博客

CDN源站屏蔽搜索引擎爬虫

作者:choi 日期:2020-03-18 23:55 浏览:

  前言

  自从全站使用阿里云CDN之后,网站访问速度得到了很明显的提升,同时阿里云CDN的稳定性也很棒。但最近这段时间发现,百度和谷歌的爬虫开始爬我的源站了。这就有点麻烦了,要是不赶紧解决,给主站降权就不好了。

  思路

  因为蜘蛛爬了不该爬的东西,解决思路自然是限制蜘蛛的爬取。

  大概有三种方法可以限制蜘蛛的抓取:1.robots.txt文件

  robots文件用于限制搜索引擎蜘蛛的行为,在源站屏蔽蜘蛛主要是为了限制蜘蛛对同程序下不同域名的抓取。但是robots.txt文件没有可以限制域名相关的参数,只能限制蜘蛛对当前域名下文件的抓取,此路不通。2.设置META标签

  当访客访问的域名不是主站域名时,在网页的<meta>标签中植入限制蜘蛛活动的内容,实现起来比较简单,只用修改一下模板中的header文件即可。3.识别蜘蛛的UA,在网站程序上做限制

  获取访客的User-Agent,如果是搜索引擎蜘蛛的UA,则跳转至主站。也有一个问题,就是要去网上收集各家搜索引擎蜘蛛的UA,想着就累。

  人懒,就选择设置META标签的方法。

  实践

  第一步,在程序中获取访客访问的域名。这一歩就不做多介绍了,不同语言和环境有不同的方法获取,PHP可以通过如下语句获取访问者当前访问的域名:

  $_SERVER[‘SERVER_NAME’];

  第二步,如果不为主站域名,则输出HEAD中的META标签限制蜘蛛的活动:

  if ($_SERVER['SERVER_NAME'] != 'www.kungg.com' {

  echo '<META NAME="robots" CONTENT="noindex,nofollow">';


文章来源:未知
文章标题:CDN源站屏蔽搜索引擎爬虫
本文地址:http://www.chengduseo.cn/seo/11192.html
相关文章
操作TF-IDF算法提升关键词排名 操作TF-IDF算法提升关键词排名

很多做SEO的朋友应该都传闻过TF-IDF算法,网上大部门的介绍都是围绕算法的公式和介绍,他们文章虽然很专业,但对付SEO优化

浅析词频位置加权排序算法 浅析词频位置加权排序算法

词频位置加权排序算法:是一种通过关键词出现的位置和频率进行排序的方法,它是搜索引擎最基础的排序算法之一。当用户

百度飓风算法3.0,针对跨领域采集及站群问题 百度飓风算法3.0,针对跨领域采集及站群问题

百度站长平台在2019年8月8日这天发布了飓风算法3.0,本次算法的更新主要为了维护健康的移动生态,保障用户体验,包管优质

刷百度相关参数详解,刷相关搜索的实现方法 刷百度相关参数详解,刷相关搜索的实现方法

百度相关搜索词可以为我们带来精准的流量,同时也可以为我们引流,因此需要做相关词的人很多,今天就来聊聊关于如何刷

浅谈:个人的影视站怎么做SEO优化 浅谈:个人的影视站怎么做SEO优化

这几天有个朋友建了一个电影网站,于是找到表哥,问个人的电影网站怎么做SEO。下面表哥就总结几点经验跟大家聊聊,希望

搜索用户建议专区上线公告 搜索用户建议专区上线公告

近期,百度搜索资源平台上线了搜索用户建议专区,该专区收集展示了搜索用户在使用您网站时,对网站内容和体验等方面提

百度APP移动搜索落地页体验白皮书5.0 百度APP移动搜索落地页体验白皮书5.0

1.导言 2.面向对象 3.名词解释 4.落地页体验规范 4.1. 信息获取规范 4.1.1 加载速度 4.2.页面浏览规范 4.2.1 排版布局 4.2.2 字号间

程序员:我终于知道post和get的区别 程序员:我终于知道post和get的区别

IT界知名的程序员曾说:对于那些月薪三万以下,自称IT工程师的码农们,其实我们从来没有把他们归为我们IT工程师的队伍。

企业网站建设如何选择企业cms建站系统 企业网站建设如何选择企业cms建站系统

企业网站主要用于向外界展示企业产品和形象,如果网站内容丰富,页面美观,用户体验好,将会为企业带来潜在的用户,现

网站建设之常用CMS系统的SEO优化功能分析 网站建设之常用CMS系统的SEO优化功能分析

小编是CMS建站老司机,有多年的经验也总结出了不少的优化经验,现在大部分的网站,尤其是单位性质的网站基本都是采用

  • 精彩推荐
  • 最近发布
分享到:
Copyright © 2016-2021 「蔡江博客」版权所有
蜀ICP备15028159号-6  
网站地图 | 技术支持:点瑞网络