搜索引擎通过一种程序“蜘蛛”(又称spider)，自动访问互联网上的网页并获取网页信息。您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被蜘蛛访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎访问和收录了，或者可以通过robots.txt指定搜 索引擎只收录指定的内容。搜索引擎爬行网站第一个访问的文件就是robot.txt。

　　robots.txt文件的位置：

　　robots.txt文件应该放在网站根目录下。举例来说：当搜索引擎访问一个网站时，首先会检查该网站中是否存在robots.txt这个文件，如果robots机器人程序找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

　　robots.txt的格式：

　　“robots.txt”文件包含一条或多条记录，这些记录通过空行分开(以CR、CR/NL、or NL作为结束符)，每一条记录的格式如下所示：“:”

　　在该文件中可以使用#进行注释，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow行，详细情况如下：

　　User-agent：

　　该项的值用于描述搜索引擎机器人robot的名字。在“robots.txt”文件中，如果有多条 User-agent记录，说明有多个robot会受到该协议的约束。所以，“robots.txt”文件中至少要有一条User- agent记录。如果该项的值设为*(通配符)，则该协议对任何搜索引擎机器人均有效。在“robots.txt”文件 中，“User-agent：*”这样的记录只能有一条。

　　Disallow：

　　该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以 是部分的，任何以Disallow开头的URL均不会被robot访问到。

　　任何一条Disallow记录为空，说明该网站的所有部分都允许被访问，在 “/robots.txt”文件中，至少要有一条Disallow记录。如果“/robots.txt”是一个空文 件，则对于所有的搜索引擎robot，该网站都是开放的。

　　robots.txt文件用法举例：

　　例1、禁止所有搜索引擎访问网站的任何部分

　　User-agent: *

　　Disallow: /

　　例2、允许所有的robot访问

　　User-agent: *

　　Disallow:

　　(或者也可以建一个空文件 "/robots.txt" file)

　　例3、禁止某个搜索引擎的访问

　　User-agent: BadBot

　　Disallow: /

　　例4、允许某个搜索引擎的访问

　　User-agent: Baiduspider

　　Disallow:

　　User-agent: *

　　Disallow: /

　　例5、假设某个网站有三个目录对搜索引擎的访问做了限制，可以这么写：

　　User-agent: *

　　Disallow: /cgi-bin/

　　Disallow: /tmp/

　　Disallow: /joe/

　　需要注意的是，对每一个目录必须分开声明，而不要写成：“Disallow: /cgi-bin/ /tmp/”。

　　User-agent：后的*(通配符) 具有特殊的含义，代表“any robot”，所以在该文件中不能有 “Disallow: /tmp/*” or “Disallow: *.gif ”这样的记录出现。

　　另外，robots.txt主要作用是保障网络安全与网站隐私，百度蜘蛛遵循robots.txt协议。通过根目录中创建的纯文本文件robots.txt，网站就可以声明哪些页面不想被百度蜘蛛爬行并收录，每个网站都可以自主控制网站是否愿意被百度蜘蛛收录，或者指定百度蜘蛛只收录指定的内容。当百度蜘蛛访问某个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果该文件不存在，那么爬虫就沿着链接抓取，如果存在，爬虫就会按照该文件中的内容来确定访问的范围。

　　合理使用robots.txt文件还能避免访问时出错。比如，不能让搜索者直接进入购物车页面。因为没有理由使购物车被收录，所以你可以在robots.txt文件里设置来阻止搜索者直接进入购物车页面。