成都seo博客

蔡江博客

不同网站程序的Robots文件写法,你值得拥有!

作者:choi 日期:2019-04-13 10:57 浏览:75

  robots.txt是搜索引擎蜘蛛访问我们网站时第一个要看的文件。这个文件是告诉蜘蛛在爬取我们网站时,哪些文件可以看,哪些文件不能看。如果我们网站上有些信息不想被搜索引擎蜘蛛爬取,这个时候我们就可以写一个robots.txt文件,告诉蜘蛛不要索引我们这个文件。

  看完上面这段话,相信大家也可以知道robots.txt文件是干什么用的。但是我们当下有很多热门的建站程序,例如:wordpress、dedecms、phpcms、discuz等等,那么这些建站程序的robots.txt文件的写法都是一样的吗?答案肯定不是。今天我就给大家分享下这些热门建站程序的robots.txt文件该怎么写。

  1.WordPress建站程序的robots.txt文件写法

  User-agent: *

  Disallow: /wp-admin

  Disallow: /wp-content/plugins

  Disallow: /wp-content/themes

  Disallow: /wp-includes

  Disallow: /?s=

  Sitemap: http://www.***.com/sitemap.xml

  2.DedeCMS建站程序的robots.txt文件写法

  User-agent: *

  Disallow: /plus/feedback_js.php

  Disallow: /plus/feedback.php

  Disallow: /plus/mytag_js.php

  Disallow: /plus/rss.php

  Disallow: /plus/search.php

  Disallow: /plus/recommend.php

  Disallow: /plus/stow.php

  Disallow: /plus/count.php

  Disallow: /include

  Disallow: /templets

  Disallow: /member

  3.phpcms建站程序的robots.txt文件写法

  User-agent: *

  Disallow: /admin

  Disallow: /data

  Disallow: /templates

  Disallow: /include

  Disallow: /languages

  Disallow: /api

  Disallow: /fckeditor

  Disallow: /install

  Disallow: /count.php

  Disallow: /comment

  Disallow: /guestbook

  Disallow: /announce

  Disallow: /member

  Disallow: /message

  Disallow: /spider

  Disallow: /yp

  Disallow: /vote

  Disallow: /video

  4.discuz论坛建站程序的robots.txt文件写法

  User-agent: *

  Allow: /redirect.php

  Allow: /viewthread.php

  Allow: /forumdisplay.php

  Disallow: /?

  Disallow: /*.php

  总结:以上就是当下4个热门建站程序的robots.txt文件写法。当然我这里并不是要大家在实际操作过程中也按照这个方法来写,因为这里都是我用经验总结出来的,其中有些协议大家可能都涉及不到,所以希望大家灵活的使用,不要太死板。


文章来源:未知
文章标题:不同网站程序的Robots文件写法,你值得拥有!
本文地址:http://www.chengduseo.cn/seo/8706.html
相关文章
如何修改title不会被降权? 如何修改title不会被降权?

网站优化过程中,会出于各种原因修改标题。很多站长朋友担心修改标题会导致网站降权,也有很多人认为修改网站标题不会

百度移动端的seo优化操作? 百度移动端的seo优化操作?

现如今,互联网的发展从PC端向移动端发展了,比如搜索引擎上的流量,大部分用户都使用手机来搜索,这主要是因为智能手

新手如何进行网站标题的撰写? 新手如何进行网站标题的撰写?

网站的标题,即一个网站的名字。一般来说我们的访客通过网站的标题就能判断出这个网站是干什么的,那么对于一个seo人员

做好七个地方优化操作,脱离seo新手“帽子”! 做好七个地方优化操作,脱离seo新手“帽子”!

虽然我不算什么seo高手,但是我也接触这个行业几年了。想当初自己刚学习seo时,没有人带,就靠自己一边摸索一边学习,经

不同网站程序的Robots文件写法,你值得拥有! 不同网站程序的Robots文件写法,你值得拥有!

robots.txt是搜索引擎蜘蛛访问我们网站时第一个要看的文件。这个文件是告诉蜘蛛在爬取我们网站时,哪些文件可以看,哪些

优秀的网站建设决定seo优化排名的质量! 优秀的网站建设决定seo优化排名的质量!

对于今天的搜索引擎推广来说,网站搜索引擎优化的内容需要优化的越来越复杂,特别是对于网站建设的要求也越来越高。所

虚拟主机对于网站优化有没有什么影响呢? 虚拟主机对于网站优化有没有什么影响呢?

想做一个网站除了需要域名外,还需要一个源代码托管工具,即服务器或虚拟主机,服务器都不错,那么虚拟主机的使用会对

seo优化更适合小型企业生存发展! seo优化更适合小型企业生存发展!

SEO这个词每个人都很熟悉。据数据显示,20世纪90年代,SEO已经浮出水面并建立了相关理论。直到2000年,SEO才慢慢出现在一些

分享关于如何运营百家号的攻略手册 分享关于如何运营百家号的攻略手册

近几月,当百家号逐步上线时,百度百家开始邀请资深玩家开通了百家号。当时,由于处于内部测试阶段,很多功能都不完善

如何突破seo流量瓶颈期? 如何突破seo流量瓶颈期?

一个阶段是了解SEO的常识,然后去网站找页面,看看哪些方法可以用在哪些页面上,因为没有明确的方向,往往什么都做不到

  • 精彩推荐
  • 最近发布
分享到:
Copyright © 2016-2021 「蔡江博客」版权所有
蜀ICP备15028159号  
网站地图 | 技术支持:点瑞网络