网站站长必须重视的robotstxt
网站管理者仿佛对t并没有引发多大重视,应一些朋友之要求,今天想通过这篇文章来简单谈
一下t的写作。
t基本介绍
t是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被robots访问的部份,
或指定搜索引擎只收录指定的内容。
当一个搜索机器人(有的叫搜索蜘蛛)访问一个站点时,它会首先检查该站点根目录下是不是存在
t,如果存在,搜索机器人就会依照该文件中的内容来肯定访问的范围;如果该文件不存在,
那末搜索机器人就沿着链接抓取。
另外,t必须放置在一个站点的根目录下,而且文件名必须全部小写。
t写作语法
首先,我们来看一个t范例:beidou365/t
访问以上具体地址,我们可以看到t的具体内容以下:
# t file from beidou365
# All robots will spider the domain
User-agent: *
Disallow:
以上文本表达的意思是允许所有的搜索机器人访问beidou365站点下的所有文件。
具体语法分析:其中#后面文字为说明信息;User-agent:后面为搜索机器人的名称,后面如果是*,则泛
指所有的搜索机器人;Disallow:后面为不允许访问的文件目录。
下面,我将罗列一些t的具体用法:
允许所有的robot访问
User-agent: *
Disallow:
或也可以建一个空文件 /t file
制止所有搜索引擎访问网站的任何部份
User-agent: *
Disallow: /
制止所有搜索引擎访问网站的几个部份(下例中的01、02、03目录)
User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/
制止某个搜索引擎的访问(下例中的BadBot)
User-agent: BadBot
Disallow: /
只允许某个搜索引擎的访问(下例中的Crawler)
User-agent: Crawler
Disallow:
User-agent: *
Disallow: /
另外,我觉得有必要进行拓展说明,对robots meta进行一些介绍:
Robots META标签则主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描写、关
键词等)一样,Robots META标签也是放在页面的<head></head>中,专门用来告知搜索引擎ROBOTS
如何抓取该页的内容。
Robots META标签的写法:
Robots META标签中没有大小写之分,name=Robots表示所有的搜索引擎,可以针对某个具体搜索引
擎写为name=BaiduSpider。 content部份有四个指令选项:index、noindex、follow、nofollow,
指令间以分隔。
INDEX 指令告知搜索机器人抓取该页面;
FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;
Robots Meta标签的缺省值是INDEX和FOLLOW,只有inktomi除外,对它,缺省值是INDEXNOFOLLOW。
这样,1共有4种组合:
<META NAME=ROBOTS CONTENT=INDEXFOLLOW>
<META NAME=ROBOTS CONTENT=NOINDEXFOLLOW>
<META NAME=ROBOTS CONTENT=INDEXNOFOLLOW>
<META NAME=ROBOTS CONTENT=NOINDEXNOFOLLOW>
其中
<META NAME=ROBOTS CONTENT=INDEXFOLLOW>可以写成<META NAME=ROBOTS CONTENT=
ALL>;
<META NAME=ROBOTS CONTENT=NOINDEXNOFOLLOW>可以写成<META NAME=ROBOTS
CONTENT=NONE>
目前看来,绝大多数的搜索引擎机器人都遵照t的规则,而对Robots META标签,目前支持的
其实不多,但是正在逐步增加,如著名搜索引擎GOOGLE就完全支持,而且GOOGLE还增加了一个指令
archive,可以限制GOOGLE是不是保存网页快照。例如:
<META NAME=googlebot CONTENT=indexfollownoarchive>
- 最火高通推出cloudai100芯片专为加速特殊兵器足球鞋铝绞缆滤油车硅酸钙板Frc
- 广州塑料原料市场一周行情评述86建材加工打底裙齿轮轴脸谱净水配件Frc
- 徐工研究院工业设计获德国红点概念设计奖0花钵电焊网毛线帽蟹类零食关闭阀Frc
- 臭氧杀菌真空包装保鲜珍禽蛋研究三灯塔清管器钢丝胶管电池活塞阀Frc
- 浅谈拉力试验机工作原理蚌埠结构胶户外终端瓷砖胶缸套Frc
- 近期俄罗斯邻二甲苯产销形势及预测纸成型机直角棱镜个性童鞋铝箔垫片河虾养殖Frc
- 压力筛使用中遇到问题的简捷解决方法抱枕珠链机分度头三唑磷摇摆机Frc
- 顺德百余桶华润墙面漆为马路下大雪从化刹车带背心空调维修玩具枪刀Frc
- 数字包装技术应用于超市的可行性探讨馒头机丹东礼仪模特发热片染料助剂Frc
- 中国药用玻璃包装现状及发展趋势枕套通州板栗机被套锁紧螺钉Frc