什么robots.txt文件有什么作用呢？

什么robots.txt文件有什么作用呢？今天沈阳网站开发来和大家一起聊聊这个问题。

什么robots.txt文件

查找引擎运用spider程序自动访问互联网上的页面并获取页面信息。spider在访问一个网站时，会首先会 查看该网站的根域下是不是有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取计划。您可以在您的网站中创立一个robots.txt，在文件中声明 该网站中不想被查找引擎录入的有些或许指定查找引擎只录入特定的有些。

robots.txt文件对网站有什么作用