SEO培训中心提供免费SEO公开课,SEO技术问题解答,SEO培训教程下载和系统SEO培训及技术指导。SEO课程,SEO教程应有尽有。
SEO优化培训

在做SEO优化中,robots文件应该如何使用?

[复制链接]
查看: 700|回复: 0

133

主题

133

帖子

51万

积分

版主

Rank: 7Rank: 7Rank: 7

积分
510133
发表于 2018-3-19 09:32:19 | 显示全部楼层 |阅读模式
本帖最后由 SEO顾问 于 2018-3-19 09:39 编辑

robots.txt是一个协议。robots协议(也称为爬虫协议、机器人协议等)的全称是"网络爬虫排除标准 "(robots exclusion protocol)。网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。今天我 们就来讲讲robots文件的使用和robots.txt文件的作用,一起来看看吧!
t01644b0257f725e888.jpg
robots.txt文件的作用
当一个搜索引擎访问一个站点时。它会首先检查该站点根目录下是否存在robots.txt。 如果存在,搜索机器人就会按照该文件中的内容确定访间的范围;如果该文件不 存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
如果将网站视为酒店里的一个房间,robots.txt就是主人在房间门口悬挂的"请勿 打扰"的提示牌。这个文件告诉来访的搜索引掌哪些房间可以进入和参观,哪些房间 因为存放贵重物品,或可能涉及住户及访客的隐私而不对搜索引擎开放。但是,robot. txt不是命令,也不是防火墙,如同守门人无法阻止窃贼等恶意闯入者。
robots协议可以屏蔽一些网站中比较大的文件,如图片、音乐、视频等内容。节省 服务器带宽;也可以屏蔽站点的一些死链接,禁止搜索引掌抓取。
robots文件的写法 1.robots文件的简单写法
robots文件最简单的写法只有两行:
第一行:user-agent:*
第二行Disallow:或Allow:意思是:搜索引擎可以抓取网结的所有文件;
2.robots文件的其他写法
ser-aget:*这里的·代表所有的搜索引摩种类,·是一个通配符
Disallow:/admin/禁止抓取admin目录及目录下的文件。
Disallow:/require/禁止抓取require目录及目录下的文件。
Disallow:/ABC/禁止抓取ABC目录及目录下的文件
Disallow:/*?*禁止访问网站中所有包含问号()的网址。
Disallow:/ab/adc.html 禁止抓取ab文件夹下面的adc.html文件。
注意:在robots文件中,可以将网站地图的链接放在后面,方便搜索引擎首先访问并且抓取。
robots文件的设置
先检查网站是否有robots文件,直接在域名后输入robotstt 即可,如https/www. haol23.com/robots.txt,如果没有,就按照以下步骤设置:
第一步:在桌面建立一个记事本,命名为robots.tt:
第二步:写入以下两行英文代码,保存。User-agent:* Disallow
第三步:连接FTP,将robots.tt文件上传到FTP根目录中,
第四步:通过访问域名/robots.txt,检查是否正常访问。正常访问说明设置成功。
注意:robots.txt的命名都是小写。

回复

使用道具 举报

SEO优化培训教程

要做好网站优化,需要从哪几方面入手,又该

主讲:SEO老师 日照

百度SEO教程-SEO培训课程课件大纲,共十一

主讲:SEO大学校长 日照

面对B2C商城类型网站,我们该如何优化,又

主讲:SEO老师 菏泽

我们在做SEO的时候,应该怎么样去布局关键

主讲:SEO顾问 吉安

SEO新手在进行网站优化时应该避免进入的12

主讲:SEO老师 大连

SEOer在做SEO优化的时候有哪些实用的技巧?

主讲:SEO顾问 南昌

网站SEO优化的时候外链建设应该注意什么事

主讲:SEO大学校长 山东

网站SEO优化对于用户分析我们应该从哪些细

主讲:SEO大学校长 山东

商务合作

SEO培训学院电话:400-050-4004
SEO课程,SEO教程

关注SEO培训公众号

在做SEO优化中,robots文件应该如何使用?

SEO教程,SEO课程 SEO教程,SEO课程 SEO课程,SEO教程 SEO课程,SEO教程 SEO课程,SEO教程
深圳帝国网络服务有限公司;  ©2006-2018  专业网站优化学校  技术支持:SEO培训学院