网站robots文件的作用以及写法是什么

发表于2018-12-17 分类:百度seo/sem交流 浏览次数:189次
     我们在网站上线开始运营的时候,都会把网站的robots文件写好,那么robots文件到底什么,对我们的网站又起着什么样的作用呢。


网站出售
 

    robots是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

robots文件的作用:

1、保护网站安全,屏蔽网站中的一些死链

2、节省流量

3、禁止搜索引擎收录部分页面

4、引导蜘蛛爬网站地图

robots.txt的写法,例:

1、定义搜索引擎用User-agent:来定义搜索引擎,其中*表示所有,Baiduspider表示百度蜘蛛,Googlebot表示谷歌蜘蛛。也就是说User-agent:*表示定义所有蜘蛛,User-agent:Baiduspider表示定义百度蜘蛛。

2、禁止与允许访问Disallow: /表示禁止访问,Allow: /表示允许访问。在写robots.txt时需特别注意的是,/前面有一个英文状态下的空格(必须是英文状态下的空格)。

3、禁止搜索引擎访问网站中的某几个文件夹,以a、b、c为例,写法分别如下:Disallow: /a/,Disallow: /b/,Disallow: /c/3、禁止搜索引擎访问文件夹中的某一类文件,以a文件夹中的js文件为例,写法如下:Disallow: /a/*.js

4、只允许某个搜索引擎访问,以Baiduspider为例,写法如下:User-agent: BaiduspiderDisallow:

5、禁止访问网站中的动态页面User-agent: *Disallow: /*?*




TAG标签: V6系统(1)


回到顶部