成都seo博客

蔡江博客

网站URL链接如何优化可提升Spider抓取?

作者:choi 日期:2019-01-10 21:15 浏览:94
 实现网站Spider抓取,主要还要从url链接优化出发,从理论上讲,虽然搜索引擎能够识别较为复杂的url,但是相对简单的url肯定对搜索引擎抓取能够取得一定帮助,提升抓取频次的策略有哪些呢?
 
  一、网站导航条设置:
 
  网站导航功能:便于用户迅速找到想要获取的内容,同理,对搜索引擎快速识别和抓取网站内容也有一定的帮助。
 
  二、网站地图制作:
 
  网站地图主要用于展示网站结构的网页,以层级列表样式方便Spider抓取,提升网站收录速度和抓取深度。
网站地图制作
 
  三、301设置:
 
  优化url结构,比较核心的点就是301设置 ,其中url链接尽量保持:
 
  1、避免动态化
 
  2、url越精短越好
 
  3、使用英文或拼音便于记忆
 
  4、避免大小字母同类使用
 
  301设置主要目的,主要防止权重流失,也为了让spider能够对多种URL重定向的识别,重定向分别有三类:HTTP 30x重定向、Meta refresh重定向和JS重定向。百度目前也支持Canonical标签。
 
  四、面包屑导航:
 
  一般来说设置面包屑导航都在banner图下,主要功能是方便用户能够通过当前目录点击返回上级目录或主页的行为,一般设置为:主页>栏目页>内容页的设置方式,这也是优化增强用户体验的一个小点。
 
  五、目录结构:
 
  一般来说,很多网站都存在二级或多级目录,从优化建议上,尽可能采用三级目录作为网站层级,便于抓取和收录 。
 
robots.txt的使用
 
  六、robots.txt的使用:
 
  对不需要和没必要让Spider抓取的页面或目录尽量写死,这既是一种安全举措也是一种不浪费抓取的方式。
 
  七、nofollow的 使用:
 
  nofollow标签是由Google领头新创的一个标签,目的是尽量减少垃圾链接对搜索引擎的影响,减少博客的垃圾留言,目前百度、Google、Yahoo、微软都支持这一标签。当超级链接中出现nofollow标签后,搜索引擎会不考虑这些链接的权重,也不用使用这些链接用于排名。
 
  正确和合理的在网站架构中使用nofollow,那么网站在抓取上就能实现Spider精准抓取,能很大程度上加快百度对网站页面的收录速度,也是代码优化中,比较细腻的操作方式。
 
  对网站URL链接如何优化的方式,只能简单粗暴的分析在这里了,如果你的网站存在抓取频次不高或者百度收录慢,不妨看看网站在这些问题上,是否还存在不足的问题,以方便后续不断提升网站做好基础工作。

文章来源:未知
文章标题:网站URL链接如何优化可提升Spider抓取?
本文地址:http://www.chengduseo.cn/seo/3724.html
相关文章
内容营销与SEO结合的前途 内容营销与SEO结合的前途

上个月的第 8 届中国SEO排行榜大会主题是内容营销。这是个很适时的话题。 一直以来,我感觉做SEO有 3 个难题: 网站链接结

写好公众号文章开头和结尾的18条建议! 写好公众号文章开头和结尾的18条建议!

前几天在知乎上看到有人说: 自己是做新媒体运营,写文章的时候总是想好了内容框架,但是却不知道开头和结尾要写什么

百度搜索网页标题规范:让标题回归标题本身 百度搜索网页标题规范:让标题回归标题本身

对搜索用户来说,标题是一个网页最直观的认知渠道和展现方式,也是吸引用户点击搜索结果进入落地页的关键因素。 为了

成长中的SEO,应该避免这12个过时的优化策略 成长中的SEO,应该避免这12个过时的优化策略

SEO在过去几年里经历了广泛的变化及进化,并且每天都在进行着。 虽然大多数传统的营销策略(在很大程度上)仍然适用于今天

「个人网站推广」百度已不打算好好做搜索引擎? 「个人网站推广」百度已不打算好好做搜索引擎?

昨晚(22日),自媒体新闻实验室一篇名为《搜索引擎百度已死》的文章刷屏。一时间,百度又站在舆论的风口浪尖。文章指责

「电子商务网站推广方案」阿里店铺SEO装修美化与文案装修美化 「电子商务网站推广方案」阿里店铺SEO装修美化与文案装修美化

每个企业在做阿里巴巴1688的时候,都希望生意可以很好。电子商务网站推广方案只是在最开始的时候,我们开通店铺给到我

「企业网站推广技巧」选择哪种CMS程序更符合SEO优化? 「企业网站推广技巧」选择哪种CMS程序更符合SEO优化?

企业网站推广技巧说起建站,现在的建站程序有很多,第一种是开源的,如Wordpress,Dedecms,Discuz等,这些都是可以直接获取

SEO网站推广」参加了SEO培训课程还是学不会? SEO网站推广」参加了SEO培训课程还是学不会?

如果说你去了很多家机构参加SEO培训总是学不会,那么在SEO网站推广看来究其原因无非就两点。 一个是SEO培训机构是忽悠人

网站推广:分析SEO站长如何写作文章? 网站推广:分析SEO站长如何写作文章?

在一些站长群里面,很多站长会和博主一样常常会听到一种声音,我每天都在写原创文章,可是关键词什么排名都没有。似乎

传统印刷企业网络营销SEO战略规划 传统印刷企业网络营销SEO战略规划

当前,网络营销战略规划已经成为了互联网及大数据时代下我国印刷行业发展的必需品,成为了确定印刷企业网络营销战略目

  • 精彩推荐
  • 最近发布
分享到:
Copyright © 2016-2021 「蔡江博客」版权所有
蜀ICP备15028159号  
网站地图 | 技术支持:点瑞网络