在网站建设过程中我们会有一部分内容不希望被搜索引擎抓取到或者不希望其在互联网中出现，那么要怎么办呢？我要怎么跟搜索引擎说你不要抓取我的xx内容呢？这时候robots就派上用场了。 是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否...