成都seo博客

蔡江博客

如何与恶意“蜘蛛”暗度陈仓?

作者:choi 日期:2019-11-14 18:18 浏览:

  在搜索引擎优化过程中,你是否遇到过这样的问题:服务器访问的CPU利用率接近100%,页面加载速度特别慢,似乎受到了DDoS的攻击。经过一番审查才发现原来自己的目标网站被大量不相关的“爬虫”频繁的抓取,这对于一个小网站来讲,可能是灭顶之灾。因此,我们在做网站优化的时候,就需要针对特定蜘蛛有选择的引导。那么,如何与恶意“蜘蛛”暗度陈仓?
 

搜索引擎爬虫

  1、搜索引擎爬虫

  对于国内的小伙伴,我们都知道在做SEO的过程中,我们面对的最常见的爬虫就是搜索引擎的爬虫,比如:百度蜘蛛,同时,还会面临各种搜索引擎的蜘蛛,比如:

  ①360Spider、SogouSpider、Bytespider

  ②Googlebot、Bingbot、Slurp、Teoma、ia_archiver、twiceler、MSNBot

  ③其他爬虫

  如何你没有刻意的配置你的robots.txt文件的话,理论上,你的目标页面是都可以抓取与爬行的,但对于一些中小网站,它偶尔会严重浪费自己的服务器资源。

  这个时候我们就需要做出有选择性的合理引导,特别是一些比较尴尬的问题,比如:你希望谷歌降低对网站爬行,而又不能完全屏蔽,你可能需要一些小技巧,比如:针对特定爬虫的访问,反馈不同的文章列表:

  ①控制更新频率的列表

  ②反馈大量重复性,内容农场的页面

  ③善意的“蜘蛛陷阱”比如:Flash

  ④如何对方SEO管理平台,可以调整抓取评论,适当调整一下

  虽然,这样的策略,很可能造成页面信誉度受损,但这是我能想到,针对这些不希望经常爬行,而又需要保持爬行的蜘蛛,合理控制抓取的一个相对“有效”的方法。
 

链接分析爬虫

  2、链接分析爬虫

  从目前来看,一个SEO外部链分析管理工具需要每天花费大量的服务器资源来抓取和检测每个网站的页面链接。

  对于一些资源密集的站点来说,每天爬上千个时间是可能的,而这是一个常见的爬行动物。

  如果你不想让自己的网站参与其中,最简单的策略是在robots协议中完全关闭此类爬虫程序。

  3、内容采集爬虫

  但当我们面对一些恶意的内容采集爬虫而言,就相对的尴尬,对方往往是采用“隐身”的状态,比如:模拟知名搜索引擎蜘蛛的名称。

  针对这样的问题,我们只能手动的判断去审查一下对方的庐山真面,比如:利用IP泛解析命令,去判断一下,它到底是不是真的。

  ①Linux平台:hostip

  ②Widows平台:nslookupIP

  从而去判断对方的解析地址,是否为对应的搜索引擎域名。
 

蜘蛛池爬虫

  4、蜘蛛池爬虫

  目前市面上有很多人做百度蜘蛛池,它主要的目的是辅助更多的页面做百度快速收录,但由于一些任意下载的蜘蛛池程序设计的不规范化。

  没有做到合理的针对不同蜘蛛的爬行与限定,往往导致服务器资源被大量占用,很容易被服务商关停服务器。

  如果你试图利用这个策略,提升自己页面收录,那么,你可能需要多加注意。(但我们并不推荐)

  SEO工作是一项细致的工作,每一项策略都影响着整个站场的运营状况,以上内容只是一种分析,适合中小型站长,仅供参考!


文章来源:蔡江博客
文章标题:如何与恶意“蜘蛛”暗度陈仓?
本文地址:http://www.chengduseo.cn/seo/10576.html
相关文章
利用友情链接做网络推广的几点建议! 利用友情链接做网络推广的几点建议!

对于一个刚刚上线的网站,不知道应该如何优化?应该从哪些地方下手呢?去百度,谷歌等各大搜索引擎提交你的网站信息?其实

友情链接交换的几个问题? 友情链接交换的几个问题?

网站优化主要是内容跟外链这两大部分,外链在整个网站排名优化中起着决定性作用,外链做的好,在很大层次上可以提升网

什么叫权重?哪些因素会影响到网站权重? 什么叫权重?哪些因素会影响到网站权重?

什么叫权重?相信很多新手seo在接触网站的时候也是一头雾水的,其实全会在那个也叫作百度权重,指的是网站关键词排名预

SEO优化的外链建设的标准有哪些呢? SEO优化的外链建设的标准有哪些呢?

外链对于网站排名的做SEO的应该都知道吧,,但随着搜索引擎对用户体验的重视然一些比较原创的发链方法已经不再有效,甚

网站外链建设怎么做?注重“内部链接”! 网站外链建设怎么做?注重“内部链接”!

在一个没有标品化的SEO行业当中,可谓各种算法技巧层出不穷,公说公的理,婆说婆的理。无论是站内优化还是网站外链建设

成都seo外链推广的表现形式有哪几种? 成都seo外链推广的表现形式有哪几种?

对于大多数SEO业务人员来说,外链应该一点都不陌生吧,毕竟他曾经也是辉煌过的,也就是每天都要接触的一种了,在我们的

有效网站外链该怎么做呢? 有效网站外链该怎么做呢?

随着百度新规定的出台,外链对百度优化的重要性已不如从前,但很多中小企业运营商会认为,搜索引擎规则发生变化,是不

内链和外链对网站排名有什么用? 内链和外链对网站排名有什么用?

做过seo的人应该对对内链和外链的两个概念绝对不陌生,在网站优化的过程中, 内链 和外链将在网站优化中发挥重要作用,

Web产品必读 | SEO入门知识点总结 Web产品必读 | SEO入门知识点总结

最近在看SEO方面的知识,很是有趣,能学些新东西的感觉总是好的,随着经历增多心境较之前也少了些浮躁,当下的年纪也正

网站标题关键词要如何进行设置 网站标题关键词要如何进行设置

做过网页设计的站长或者使用过drmeaweaver软件设计网页的站长都会明白,网页设计首先将标题关键词以及描述写入网页代码之

  • 精彩推荐
  • 最近发布
分享到:
Copyright © 2016-2021 「蔡江博客」版权所有
蜀ICP备15028159号  
网站地图 | 技术支持:点瑞网络