robots.txt是搜索引擎蜘蛛访问我们网站时第一个要看的文件。这个文件是告诉蜘蛛在爬取我们网站时，哪些文件可以看，哪些文件不能看。如果我们网站上有些信息不想被搜索引擎蜘蛛爬取，这个时候我们就可以写一个robots.txt文件，告诉蜘蛛不要索引我们这个文件。
看完上面这段话，相信大家也可以知道robots.txt文件是干什么用的。但是我们当下有很多热门的建站程序，例如：wordpress、dedecms、phpcms、discuz等等，那么这些建站程序的robots.txt文件的写法都是一样的吗?答案肯定不是。今天我就给大家分享下这些热门建站程序的robots.txt文件该怎么写。
1.WordPress建站程序的robots.txt文件写法
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /?s=
Sitemap: https://www.***.com/sitemap.xml
2.DedeCMS建站程序的robots.txt文件写法
User-agent: *
Disallow: /plus/feedback_js.php
Disallow: /plus/feedback.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets
Disallow: /member
3.phpcms建站程序的robots.txt文件写法
User-agent: *
Disallow: /admin
Disallow: /data
Disallow: /templates
Disallow: /include
Disallow: /languages
Disallow: /api
Disallow: /fckeditor
Disallow: /install
Disallow: /count.php
Disallow: /comment
Disallow: /guestbook
Disallow: /announce
Disallow: /member
Disallow: /message
Disallow: /spider
Disallow: /yp
Disallow: /vote
Disallow: /video
4.discuz论坛建站程序的robots.txt文件写法
User-agent: *
Allow: /redirect.php
Allow: /viewthread.php
Allow: /forumdisplay.php
Disallow: /?
Disallow: /*.php
总结：以上就是当下4个热门建站程序的robots.txt文件写法。当然我这里并不是要大家在实际操作过程中也按照这个方法来写，因为这里都是我用经验总结出来的，其中有些协议大家可能都涉及不到，所以希望大家灵活的使用，不要太死板。
蚂蚱网
