成都seo博客

蔡江博客

如何与恶意“蜘蛛”暗度陈仓?

作者:choi 日期:2019-11-14 18:18 浏览:

  在搜索引擎优化过程中,你是否遇到过这样的问题:服务器访问的CPU利用率接近100%,页面加载速度特别慢,似乎受到了DDoS的攻击。经过一番审查才发现原来自己的目标网站被大量不相关的“爬虫”频繁的抓取,这对于一个小网站来讲,可能是灭顶之灾。因此,我们在做网站优化的时候,就需要针对特定蜘蛛有选择的引导。那么,如何与恶意“蜘蛛”暗度陈仓?
 

搜索引擎爬虫

  1、搜索引擎爬虫

  对于国内的小伙伴,我们都知道在做SEO的过程中,我们面对的最常见的爬虫就是搜索引擎的爬虫,比如:百度蜘蛛,同时,还会面临各种搜索引擎的蜘蛛,比如:

  ①360Spider、SogouSpider、Bytespider

  ②Googlebot、Bingbot、Slurp、Teoma、ia_archiver、twiceler、MSNBot

  ③其他爬虫

  如何你没有刻意的配置你的robots.txt文件的话,理论上,你的目标页面是都可以抓取与爬行的,但对于一些中小网站,它偶尔会严重浪费自己的服务器资源。

  这个时候我们就需要做出有选择性的合理引导,特别是一些比较尴尬的问题,比如:你希望谷歌降低对网站爬行,而又不能完全屏蔽,你可能需要一些小技巧,比如:针对特定爬虫的访问,反馈不同的文章列表:

  ①控制更新频率的列表

  ②反馈大量重复性,内容农场的页面

  ③善意的“蜘蛛陷阱”比如:Flash

  ④如何对方SEO管理平台,可以调整抓取评论,适当调整一下

  虽然,这样的策略,很可能造成页面信誉度受损,但这是我能想到,针对这些不希望经常爬行,而又需要保持爬行的蜘蛛,合理控制抓取的一个相对“有效”的方法。
 

链接分析爬虫

  2、链接分析爬虫

  从目前来看,一个SEO外部链分析管理工具需要每天花费大量的服务器资源来抓取和检测每个网站的页面链接。

  对于一些资源密集的站点来说,每天爬上千个时间是可能的,而这是一个常见的爬行动物。

  如果你不想让自己的网站参与其中,最简单的策略是在robots协议中完全关闭此类爬虫程序。

  3、内容采集爬虫

  但当我们面对一些恶意的内容采集爬虫而言,就相对的尴尬,对方往往是采用“隐身”的状态,比如:模拟知名搜索引擎蜘蛛的名称。

  针对这样的问题,我们只能手动的判断去审查一下对方的庐山真面,比如:利用IP泛解析命令,去判断一下,它到底是不是真的。

  ①Linux平台:hostip

  ②Widows平台:nslookupIP

  从而去判断对方的解析地址,是否为对应的搜索引擎域名。
 

蜘蛛池爬虫

  4、蜘蛛池爬虫

  目前市面上有很多人做百度蜘蛛池,它主要的目的是辅助更多的页面做百度快速收录,但由于一些任意下载的蜘蛛池程序设计的不规范化。

  没有做到合理的针对不同蜘蛛的爬行与限定,往往导致服务器资源被大量占用,很容易被服务商关停服务器。

  如果你试图利用这个策略,提升自己页面收录,那么,你可能需要多加注意。(但我们并不推荐)

  SEO工作是一项细致的工作,每一项策略都影响着整个站场的运营状况,以上内容只是一种分析,适合中小型站长,仅供参考!


文章来源:蔡江博客
文章标题:如何与恶意“蜘蛛”暗度陈仓?
本文地址:http://www.chengduseo.cn/seo/10576.html
相关文章
网络SEO排名终难提升,站外推广便是answer 网络SEO排名终难提升,站外推广便是answer

目前,做网站推广是时下比较盛行的一种线上营销推广模式,但对于很多没有核心SEO技术的企业来说,这也同样也面临着十分

新站推广养站固然重要,但绝不可忽视站外优化 新站推广养站固然重要,但绝不可忽视站外优化

新站上线后,很多人都多网站的排名及权重都极为重视,然新站出现排名收录不稳定的情况都是正常的,每个新站在刚开始优

网络营销怎么利用站外推广做流量? 网络营销怎么利用站外推广做流量?

随着线上营销的盛行,现今做网络推广的企业数量也变得越来越多,如今线上引流的方式和渠道也变得多种多样,其中网站

网络推广公司是如何让餐饮加盟焕发新生 网络推广公司是如何让餐饮加盟焕发新生

当下餐饮行业的利润普遍都在快速增长,近些年餐饮加盟市场的发展,让更多的餐饮企业在行业中收获了更多的利润;但由于

疫情后企业要怎样利用SEO营销推广寻机遇? 疫情后企业要怎样利用SEO营销推广寻机遇?

2020注定就是不平凡的一年,也是企业生存发展比较艰难的一年,尤其是众多中小微企业,在19年各方因素影响下,很多中小企

企业新站做网络优化要如何超越同行老站? 企业新站做网络优化要如何超越同行老站?

现今做关键词排名优化是一件十分有必要的事情,尤其是网络营销十分盛行的时代,而今做网站推广的企业,尤其是做新站优

网络推广不仅做核心词排名,长尾词优化不可少 网络推广不仅做核心词排名,长尾词优化不可少

对现今做SEO推广的企业来说,在日常对核心关键词优化的同时,也要注重网站长尾关键词的优化,因为长尾词能够带来的流量

SEO优化也称之为纠错营销 SEO优化也称之为纠错营销

现今网络推广在很多行业逐渐盛行起来,相对比竞价或者新媒体营销等渠道来说,SEO优化的性价比最高,通过关键词排名位置

SEO老手都是如何策划网站优化的呢? SEO老手都是如何策划网站优化的呢?

做网络营销是目前企业发展中不可缺少的拓展客户的方式,而今SEO推广也广受众多企业的信赖,然而优化推广是一个循规蹈矩

新站做SEO推广要注重的几个优化细节 新站做SEO推广要注重的几个优化细节

在网络营销时代,给企业发展带来了很多的机遇和商机,现在越来越多的企业都会通过网站推广来推广品牌或者挖掘客户,然

  • 精彩推荐
  • 最近发布
分享到:
Copyright © 2016-2021 「蔡江博客」版权所有
蜀ICP备15028159号-6  
网站地图 | 技术支持:点瑞网络