查看: 2450|回复: 11

【怎么做网站优化】第十四节课 如何设置Robots协议

[复制链接]

551

主题

2028

帖子

6万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
66196
V币
59592
夜之无休 发表于 2014-8-3 00:46:09 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
什么是Robots协议?
Robots协议也称为爬虫协议、机器人协议,网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。
Robots协议一般是一个文本文件,命名为robots.txt并且存放在网站根目录。

Robots协议的作用:
1、告诉搜索引擎网站上面的页面哪些可以抓取,不该抓取的就不要抓取。
2、告诉搜索引擎可以重点或者首先抓取哪个页面,配合网站地图效果更佳。

如何设置Robots协议?
工具:http://tool.chinaz.com/robots/
Robots协议一般命名为robots.txt,存放在网站根目录。
备注:如果网站根目录没有robots.txt,那么说明该网站允许所有搜索引擎抓取。[/free]
(无法观看请刷新页面等待10-20秒,单击播放器右下角可全屏观看)


13

主题

142

帖子

719

积分

中级会员

Rank: 3Rank: 3

积分
719
V币
540
QQ
梦想之路 发表于 2014-8-7 00:48:00 | 显示全部楼层
我的心那是拔凉的

0

主题

15

帖子

155

积分

注册会员

Rank: 2

积分
155
V币
130
天狼 发表于 2015-4-25 12:41:04 | 显示全部楼层
每天都在看教程。。。。。。。。。。。。

0

主题

1

帖子

89

积分

新手上路

Rank: 1

积分
89
V币
84
为梦而搏-鑫 发表于 2015-6-22 17:30:26 | 显示全部楼层
为什么 360搜索引擎可以抓取  淘宝网 的Robots呢?

551

主题

2028

帖子

6万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
66196
V币
59592
 楼主| 夜之无休 发表于 2015-6-22 17:51:00 | 显示全部楼层
为梦而搏-鑫 发表于 2015-6-22 17:30
为什么 360搜索引擎可以抓取  淘宝网 的Robots呢?

耍流氓...

0

主题

1

帖子

25

积分

新手上路

Rank: 1

积分
25
V币
24
星星 发表于 2015-7-9 10:44:56 | 显示全部楼层
开始说是屏蔽抓取,后面又说是告诉搜索引擎哪里可以抓取,哪些不能抓取,求解。

3

主题

25

帖子

193

积分

注册会员

Rank: 2

积分
193
V币
163
2982367752 发表于 2018-4-22 08:54:13 | 显示全部楼层
小辉代刷网:lengxuedsw.top

3

主题

25

帖子

193

积分

注册会员

Rank: 2

积分
193
V币
163
2982367752 发表于 2018-4-22 08:54:32 | 显示全部楼层
小辉代刷网:lengxuedsw.top
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表