robots是什么及robots.txt文件的格式与用法书写标准

阅读:2922 2019-08-13 09:18:16 来源:https://www.tongqian.org 作者:同乾传媒

robots是什么及robots.txt文件的格式与用法书写标准

robots.txt

robots文件其实就是一个网站的权限清单,一般只针对网站做SEO优化。你可以在robots文件里面写上哪些网站目录和链接允许被搜索引擎抓取,哪些被不允许抓取收录。


robots文件常用写法:


User-agent: * 

Disallow:/

robots协议放哪里?

不想让搜索引擎收录,可以通过上面的代码来屏蔽搜索引擎。


把文件重命名为robots.txt,再把robots.txt通过FTP等方式放到网站根目录下。


robots协议如何屏蔽所有搜索引擎?


User-agent: *

Disallow:/


robots.txt的写法规则

User-agent: * 符号*为通配符 代表所有的搜索引擎种类。


Disallow禁止收录

代码Disallow: 表示禁止搜索引擎爬取及收录 用法如下

Disallow: /admin/ 比如禁止爬寻admin(admin一般为网站管理后台)的目录

Disallow: /ABC/ 举例abc目录 禁止任何搜索引擎爬取收录网站里为ABC的目录及其子目录

Disallow: *.htm 禁止访问目录下的所有以".htm"为后缀的URL(包含子目录)。

Disallow: /*?* 禁止访问网站中所有的动态页面

Disallow: /jpg$ 禁止抓取网页所有的.jpg格式的图片

Disallow:/abc/abc.html 禁止爬去abc文件夹下面的abc.html文件。

Allow允许收录

代码Allow: 表示允许搜索引擎爬取及收录 用法如下

允许爬取及收录

Allow: /abc/ 这里定义是允许爬寻cgi-bin目录下面的目录

Allow: * 这里定义是允许爬全站任何文件及目录

Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

Allow: .gif$ 允许抓取网页和gif格式图片

robots代码参考大全:

robots代码


还有一种允许搜索引擎抓取网站全部内容的方式就是robots.txt为空或者不创建robots.txt文件


以上就是苏州网站建设公司同乾传媒为大家做的网站robots.txt文件用法举例,robots.txt对网站SEO优化和排名极其重要,熟悉了解后再使用请勿随意使用不然会引起不必要的错误状况。




分享到:
相关文章
{{ v.title }}
{{ v.description||(cleanHtml(v.content)).substr(0,100)+'···' }}
你可能感兴趣
推荐阅读 更多>
推荐商标

{{ v.name }}

{{ v.cls }}类

立即购买 联系客服