丹若你来,我必用心!
7年来专业从事网站seo优化关键词排名网站建设

什么是robots文件?robots如何写?

发表时间:2021-02-08 12:17作者:丹若云网址:http://www.hzseoyouhua.com/

我们在百度上搜索的时候,有时候会在搜索结果中有些链接下面会有该页面无法提供该页面的内容描述的提示(如下图),那这个是什么原因导致的呢?这就是我们今天要分享的seo优化中一个比较重要的元素:robots.txt。

robots.png

今天我们依旧会从四个问题进行分享:什么是robots文件?robots的作用?robots的写法?robots的注意事项?


一、什么是robots文件?

用百度百科的定义:robots是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

robots文件是什么.jpg

二、robots文件的作用?

SEO的角度,robots.txt文件是一定要设置的,原因:

1、网站上经常存在这种情况:不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”。采用robots.txt文件可以屏蔽掉次要的链接。

2、网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。

3、屏蔽网站内的死链接。

4、屏蔽搜索引擎蜘蛛抓取站点bai内重复内容和页面。

5、阻止搜索引擎索引网站隐私性的内容。


robots要怎么写.jpg

三、robots的写法:

1、允许所有的搜索引擎访问网站的所有部分或者建立一个空白的文本文档,命名为robots.txt。

User-agent:*Disallow:或者User-agent:*Allow:/

2、禁止所有搜索引擎访问网站的所有部分。

User-agent:*Disallow:/

3、禁止百度抓取你的网站。

User-agent:BaiduspiderDisallow:/

4、禁止Google索引你的网站。

User-agent:GooglebotDisallow:/

5、禁止除百度以外的一切搜索引擎索引你的网站。

User-agent:BaiduspiderDisallow:User-agent:*Disallow:/

6、禁止百度蜘蛛抓取特定目录

User-agent:*

Disallow:/目录名称/

7、禁止和允许搜索引擎访问某个目录,如:禁止访问admin目录;允许访问images目录。

User-agent:*Disallow:/admin/Allow:/images/

8、禁止和允许搜索引擎访问某个后缀,如:禁止访问admin目录下所有php文件;允许访问asp文件。

User-agent:*Disallow:/admin/*.php$Allow:/admin/*.asp$

9、禁止索引网站中所有的动态页面(这里限制的是有“?”的域名,如:index.php?id=8)。

User-agent:*Disallow:/*?*

四、robots.txt的注意事项:

1、如果你的站点对所有搜索引擎公开,则不用做这个文件或者robots.txt为空就行。

2、必须命名为:robots.txt,都是小写,robot后面加"s"。

3、robots.txt必须放置在一个站点的根目录下,如放在子目录下搜索引擎不能爬取到,所以不会起任何作用。如:通过http://www.hzseoyouhua.com/robots.txt 可以成功访问到,则说明本站的放置正确。

4、一般情况下,robots.txt里只写着两个函数:User-agent和 Disallow。

5、有几个禁止,就得有几个Disallow函数,并分行描述。

6、至少要有一个Disallow函数,如果都允许收录,则写: Disallow: ,如果都不允许收录,则写:Disallow: /   (注:只是差一个斜杆)。

以上就robots文件相关的而一些内容了,关于robots的写法还有很多,详细的可以网上再做查询,本文仅做参考。


最新发布seo文章
2021-07-14
2021-06-11
2021-06-08
2021-05-08
2021-04-29
2021-04-28
2021-04-22
2021-04-14
2021-04-07
2021-03-18
推荐seo文章
2021-02-03
2021-02-01
2021-01-28
2021-01-27
2021-01-26
2021-01-26
2021-01-25
2021-01-22
合作伙伴
提供各行各业网站解决方案
联系电话:0571-88152330            地址:浙江省杭州市西湖区三墩镇金蓬街321号2号楼A座313室           邮箱:kefu@zjdanruo.com
杭州丹若云为您提供整站seo优化关键词百度排名网站建设等互联网推广解决方案,有需要的朋友请与我们联系。