robots是什么及robots.txt文件的格式与用法书写标准

robots文件其实就是一个网站的权限清单，一般只针对网站做SEO优化。你可以在robots文件里面写上哪些网站目录和链接允许被搜索引擎抓取，哪些被不允许抓取收录。

robots文件常用写法：

User-agent: * 

Disallow:/

robots协议放哪里？

不想让搜索引擎收录，可以通过上面的代码来屏蔽搜索引擎。

把文件重命名为robots.txt，再把robots.txt通过FTP等方式放到网站根目录下。

robots协议如何屏蔽所有搜索引擎？

User-agent: *

Disallow:/

robots.txt的写法规则

User-agent: * 符号*为通配符 代表所有的搜索引擎种类。

代码Disallow: 表示禁止搜索引擎爬取及收录 用法如下

Disallow: /admin/ 比如禁止爬寻admin（admin一般为网站管理后台）的目录

Disallow: /ABC/ 举例abc目录 禁止任何搜索引擎爬取收录网站里为ABC的目录及其子目录

Disallow: *.htm 禁止访问目录下的所有以".htm"为后缀的URL(包含子目录)。

Disallow: /*?* 禁止访问网站中所有的动态页面

Disallow: /jpg$ 禁止抓取网页所有的.jpg格式的图片

Disallow:/abc/abc.html 禁止爬去abc文件夹下面的abc.html文件。

代码Allow: 表示允许搜索引擎爬取及收录 用法如下

允许爬取及收录

Allow: /abc/　这里定义是允许爬寻cgi-bin目录下面的目录

Allow: * 这里定义是允许爬全站任何文件及目录

Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

Allow: .gif$ 允许抓取网页和gif格式图片

robots代码参考大全：

还有一种允许搜索引擎抓取网站全部内容的方式就是robots.txt为空或者不创建robots.txt文件

以上就是苏州网站建设公司同乾传媒为大家做的网站robots.txt文件用法举例，robots.txt对网站SEO优化和排名极其重要，熟悉了解后再使用请勿随意使用不然会引起不必要的错误状况。