如何运行robot文件（网站上添加robots）

网站上添加robots.txt协议文件有什么作用？

在我们做网站优化的时候，都会给网站做robots协议，什么是robots协议呢？其实说白了就是一个txt文本，那么这个txt文本有什么用处呢？今天搜到老张来给大家说一下。mdg

什么是robots协议？mdg

robots是网站和搜索引擎之间的一个协议。用来防止一些不想被搜索引擎索引的页面或内容的抓取，而且可以吧sitemap地图的路径放在robots协议中，这样有助于网站地图的抓取。能够有效提高网站的健康度、纯净度，降低网站垃圾内容收录mdg

robots协议怎么写？mdg

robots的常用的命令一般有：mdg

User-agent:*（这里的*代表的所有的搜索引擎种类，这句话表示可以让所有的搜索引擎都可以访问抓取这个网站。）mdg

Disallow:（这个表示禁止的意思，一些不想让搜索引擎访问的页面可以把路径写下来。）mdg

Allow:（这个表示允许的意思，想要搜索引擎访问页面可以把路径写下来。）mdg

robots协议的作用mdg

通过我们上面的内容，我们对robots也有了了解。当搜索引擎王文网站时，会优先访问网站的robots协议，从中来获取信息来抓取网站。那么如果没有robots协议会对网站有什么影响呢？mdg

1、如果没有robots，搜索引擎蜘蛛访问网站时依旧会先访问robots.txt，没有的话会返回404页面，影响虽然不大，但是也决对不好。mdg

2、没有robots，搜索引擎蜘蛛默认抓取所有内容。这一点影响不是很大，但是还是取决于网站的内容，如果存在很多低质量的内容，建议还是使用robots进行限制比较好。mdg

综合上面所说的内容，robots协议还是加上比较好，没有很麻烦，我们一般会把robots放在FTP的根目录下，有助于蜘蛛的抓取。mdg

mdg

robot文件在网站中的重要作用

大家都知道搜索引擎通过蜘蛛爬行来搜索抓取信息，robot.txt文件就是和蜘蛛交流的文件，很多人都会说介绍要怎么让蜘蛛来爬行，却很少人知道可以用robot.txt去操控蜘蛛，robot.txt用得好的话蜘蛛可以为你所用。Robots.txt是网站管理员创建的文本文件，用于指示网络机器人(通常是搜索引擎机器人)如何抓取其网站上的网页。robots.txt文件是机器人排除协议(REP)的一部分，该协议是一组Web标准，用于管理机器人如何抓取网络，访问和索引内容，以及将内容提供给用户。下面小编就来简述一下robot文件的作用！mdg

mdg

屏蔽相同页面mdg

搜索引擎是个喜新厌旧的东西，不会收录重复的页面或已有的页面，即使收录了后期也会删掉，所以一开始我们可以打开robots文件，写禁止蜘蛛来读取这个页面的代码，给蜘蛛留下个好的印象，反之印象会大大减少，影响以后蜘蛛来爬行。mdg

网站地图提交mdg

Robots文件还支持网站地图提交功能，提交了网站地图可以让蜘蛛更好地爬行网站内容，让蜘蛛更快收录你的文章。mdg

删除文件时使用Robots文件禁止蜘蛛访问mdg

当你删除一个目录时需要使用Robots文件禁止蜘蛛对此目录的访问，这样可以避免死链接的形成。当然禁止搜索引擎收录的还有你网站的一些图片目录，js目录....，如果蜘蛛读到没用信息的时候也会降低一点权重。mdg

维护网站安全mdg

利用robots文件可以保护网站的安全，如果不用robots文件屏蔽掉蜘蛛就会抓取后台页面文件，蜘蛛就会默认收录此页面，让黑客有机可趁。mdg

mdg
mdg