途阔营销 途阔营销
网站优化中robots文件重要性,robots文件要怎样写

网站优化中robots文件重要性,robots文件要怎样写

发布时间:2019-12-19 发布人:上海途阔

做网站优化时,通常来说,网站或多或少都存在一些对排名没多大帮助反而还有害的页面,这个时候就需要用到robots文件。
 
Robots文件是搜索引擎中访问网站的时候要查看的第一个文件,它就像是一个网站看门管家,对网站优化非常重要。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots文件,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。 
 
那么Robots文件应该如何写呢?下面为大家提供一些写法参考:
 
一:学习robots文件编写是网站优化过程中很有必要的一环,前提是得熟悉网站url和url的原理以及网站程序目录。为什么?蜘蛛是通过url抓取的。文件具体形式,以阿里云主机根目录为例,格式表示如下:
 
技巧:域名=根目录。
 
/htdocs/=域名
 
/htdocs/skin/=域名/skin/
 
/htdocs/skin/css/=域名/skin/stivle.css/
 
二:robots写法注意点:冒号后面有一个空格,必须全英文模式书写,字母大小写要注意,这是比较严谨的,需要特别注意。例如:
 
Disallow:  /ab/abc/
 
Allow:  /ab/abc/
 
User-agent:  Baiduspider
 
三:操作流程以及写法:桌面新建一个.txt文件,在文件上写robots规则。
 
1:下面先来看看名词定义解释,不同的搜索引擎有不同的蜘蛛。
 
【1】:User-Agent:  对蜘蛛进行的规定(1)对百度蜘蛛的规定User-agent:  Baiduspider 。(2)谷歌User-Agent:  Googlebot   (3)必应User-agent:  Bingbot  (4)360    User-Agent: 360Spider (5)宜搜User-Agent:   Yisouspider(6)搜狗User-Agent: Sogouspider (7)雅虎User-Agent: Yahoo! SlurpUser-Agent:  * 指对所有的蜘蛛
 
【2】:Disallow:  指禁止抓取。
 
【3】:Allow:  指允许抓取 。
 
2:写法:以上三个格式综合使用,例如:我们要屏蔽/skin/文件夹里面的一部分文件,但是又希望抓取到/skin/文件夹里面的/css/文件夹,书写技巧:先禁止抓取/skin/文件夹,后面再允许抓取/css/ 文件夹就可以了。
 
Disallow: /skin/ 表示禁止抓取/skin/文件夹
 
Allow: /css/表示允许抓取/skin/文件夹里面的/css/文件夹
 
注意点:前后都有斜杠表示文件夹。
 
3:符号名词解释:
 
(1)*通配符 :代表所有的。例如:
 
User-Agent: * 就是表示对所有的蜘蛛
 
Allow: /skin/* 表示允许包括/skin/文件夹以下的所以文件
 
(2)$终止符:表示结束。例如不允许抓取.js结尾的文件,写成:Disallow: /*.js$
 
网站robots文件写法完整版以及注意事项
 
总之,在做seo网络推广时,Robots文件的书写过程应严格按照规则来,当然最重要的是写好之后要检查,以防书写错误,导致蜘蛛抓取不到。