成都seo博客

蔡江博客

如何书写网站robots文件,让蜘蛛有自知之明?

作者:choi 日期:2019-04-19 17:06 浏览:219

  对于网站站内优化,相信对于robots的书写是非常重要的,robots相当于蜘蛛进入网站的第一道关卡,如果没有在这文件里面写入一些蜘蛛不能摸的东西,估计到时候蜘蛛就会给你曝光,所以robots文件的重要性就是如此的。

  robots协议文件对于网站的重要性?

  1、减少蜘蛛工作量

  robots.txt是搜索引擎蜘蛛访问网站时要查看的第一个文件,并且会根据robots.txt文件的内容来爬行网站。在某种意义上说,它的一个任务就是指导蜘蛛爬行,减少搜索引擎蜘蛛的工作量。

  2、保护自己网站的隐私文件

  当搜索引擎蜘蛛访问网站时,它会首先检查该站点根目录下是否存在robots.txt文件,如果该文件存在,搜索引擎蜘蛛就会按照该文件中的内容来确定爬行的范围;如果该文件不存在,则所有的搜索引擎蜘蛛将能够访问网站上所有没有被口令保护的页面。
 

robots协议写法规则
 

  robots协议文件对于不同热门程序的写法?

  1.WordPress建站程序的robots.txt文件写法

  User-agent: *

  Disallow: /wp-admin

  Disallow: /wp-content/plugins

  Disallow: /wp-content/themes

  Disallow: /wp-includes

  Disallow: /?s=

  Sitemap: http://www.***.com/sitemap.xml

  2.DedeCMS建站程序的robots.txt文件写法

  User-agent: *

  Disallow: /plus/feedback_js.php

  Disallow: /plus/feedback.php

  Disallow: /plus/mytag_js.php

  Disallow: /plus/rss.php

  Disallow: /plus/search.php

  Disallow: /plus/recommend.php

  Disallow: /plus/stow.php

  Disallow: /plus/count.php

  Disallow: /include

  Disallow: /templets

  Disallow: /member

  3.discuz论坛建站程序的robots.txt文件写法

  User-agent: *

  Allow: /redirect.php

  Allow: /viewthread.php

  Allow: /forumdisplay.php

  Disallow: /?

  Disallow: /*.php

  4.phpcms建站程序的robots.txt文件写法

  User-agent: *

  Disallow: /admin

  Disallow: /data

  Disallow: /templates

  Disallow: /include

  Disallow: /languages

  Disallow: /api

  Disallow: /fckeditor

  Disallow: /install

  Disallow: /count.php

  Disallow: /comment

  Disallow: /guestbook

  Disallow: /announce

  Disallow: /member

  Disallow: /message

  Disallow: /spider

  Disallow: /yp

  Disallow: /vote

  Disallow: /video

  所以对于robots协议文件的重要性,大家是不是都清楚了,一个网站程序如何缺少robots文件,对于网站就是一种致命的伤害,更不要说什么权重排名问题了,这些都是基本的优化操作,希望大家能够掌握。


文章来源:蔡江博客
文章标题:如何书写网站robots文件,让蜘蛛有自知之明?
本文地址:http://www.chengduseo.cn/seo/8816.html
相关文章
内江网络推广内链如何制作 内江网络推广内链如何制作

内江网络推广内链如何制作?内链是指在网站的不同页面之间进行链接,旨在提升网站的用户体验和搜索引擎优化效果。内链可以帮助搜索引擎更好地抓取网站内容,也能够提高网站的页面权重和关键词排名。以下是一些关于内

内江网站整站优化如何提高用户体验度 内江网站整站优化如何提高用户体验度

如何通过内江网站整站优化来提高用户体验度内江市是四川省的一个县级市,随着经济的发展和互联网技术的进步,越来越多的企业选择在内江设立自己的网站。但是,只有拥有优化的网站才能真正为企业所用,并且能为用户提

凉山州seo营销优化长尾词排名如何提升 凉山州seo营销优化长尾词排名如何提升

如何提升凉山州SEO营销优化长尾词排名?凉山州SEO营销优化长尾词排名提升是很多站长想要实现的目标,以下是几个能够提升长尾词排名的方法:1.选择合适的关键词选择合适的关键词非常重要,关键词的选择需要根据目标受众

凉山州seo营销推广页面标题多久能够修改 凉山州seo营销推广页面标题多久能够修改

凉山州SEO营销推广页面标题多久能够修改?凉山州SEO营销推广页面标题是影响网站排名的重要因素之一,优化标题可以提高页面的流量和排名。但是,很多站长对于页面标题的修改时间存在疑惑。实际上,凉山州SEO营销推广页面

内江网络推广如何提升点击率 内江网络推广如何提升点击率

如何提升内江网络推广点击率?内江网络推广是指通过互联网为企业或个人进行品牌宣传和产品销售的过程。点击率是指用户点击网页中的链接或广告的数量与被展示的数量之比。对于内江网络推广而言,点击率是衡量其成功与

凉山州seo营销推广排名如何上升 凉山州seo营销推广排名如何上升

凉山州SEO营销推广排名如何上升?凉山州是四川省下辖的一个自治州,地域辽阔,发展潜力巨大,但如何将这一优势转化为网站排名上升呢?以下是我总结的策略和技巧。1.关键词研究和优化关键词是SEO优化的基础,首先需要进

内江网络优化推广图片优化有哪些注意事项 内江网络优化推广图片优化有哪些注意事项

内江网络优化推广图片优化有哪些注意事项?作为一名SEO优化站长,我们明白图片在网页中的重要性。使用好的图片不仅可以提高网站的美观度,还可以为网站带来更多的流量和排名。因此,在进行内江网络优化推广图片优化时

凉山州seo营销推广注意事项有哪些 凉山州seo营销推广注意事项有哪些

凉山州seo营销推广注意事项有哪些?SEO是一项重要的网站推广工作,凉山州SEO营销推广也不例外。以下是几个需要注意的事项:1.关注本地化推广在推广凉山州的网站时,一定要关注本地化推广。通过使用本地化关键词、注册本

内江网络优化推广不收录受哪些因素影响 内江网络优化推广不收录受哪些因素影响

内江网络优化推广不收录受哪些因素影响?内江网络优化推广是通过对网站进行不断优化和推广,提高网站在搜索引擎中的排名和曝光率,从而吸引更多的用户访问和转化。但是,并不是所有的网站都能被搜索引擎完全收录,有

内江网站结构优化需要做好哪些方面 内江网站结构优化需要做好哪些方面

内江网站结构优化需要做好哪些方面?随着互联网的发展,网站优化变得越来越重要。内江作为一个发展中的城市,其网站结构也需要进行优化。以下是优化内江网站结构需要注意的几个方面:1.网站结构要清晰:内江网站的页

  • 精彩推荐
  • 最新案例
分享到:
Copyright © 2016-2021 「蔡江博客」版权所有
蜀ICP备15028159号-6  
网站地图 | 技术支持:点瑞网络