12月17日
robots.txt
作者: yingzi | 分类: seo入门 | 评论：0人 | 浏览:
搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。robots.txt文件应该放在网站根目录下。当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站