白帽技术网 > SEO技术>「白帽技术」网站用robots文件禁止抓取,还会被索引收录吗SEO技术
「白帽技术」网站用robots文件禁止抓取,还会被索引收录吗
喜子seo2019-04-27 17:06:27【SEO技术】人已围观
简介大家都认为蜘蛛不能抓取内容就不会收录,实际上爬行、抓取、索引(收录)是不同的概念。很多人学习SEO的时候,经常性的对一些SEO的概念混肴不清,导致在后面的SEO优化过程当中并不能发挥出很好的效果。
SEO的一些基础上的东西总是容易被人忽略,比方说robots文件。喜子之前的文章有多次提到过这份文件的重要性,网站优化诊断的其中一项就是检查有无做这份文件,是否规范。之前的文章有提到过这么一句:如果网站的robots协议文件禁止了搜索引擎蜘蛛,那么无论你怎么优化都不会被收录。
趁着写这篇文章,给这句话做个纠正,请大家认真阅读并且理解。如下:
有些人可能会有疑问,搜索引擎蜘蛛爬行url页面,页面需要有内容呈现出来反馈给到蜘蛛,才有可能会被收录。那么,如果内容都被禁止了还会被收录吗?这是什么意思呢?这个问题这里喜子先不解释,大家先看看下面的图片吧。

如图所示,以上是site淘宝域名出现被收录的结果。从site结果里面可以清楚的看到,这里收录了很多淘宝网站的页面,显示收录结果为2亿6159万个页面。但是大家不知道有没有发现一个问题,这些页面抓取的描述内容都是提示了这样一段文字:由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容描述。以下是截图:
这里有个认知上的错误,也可能是惯性逻辑思维的错误思考。大家都认为蜘蛛不能抓取内容就不会收录,实际上爬行、抓取、索引(收录)是不同的概念。很多人学习SEO的时候,经常性的对一些SEO的概念混肴不清,导致在后面的SEO优化过程当中并不能发挥出很好的效果。
还是先来说说robots协议到底是在做什么?既然是协议,那肯定是双方同意、认可的规矩。这个甲乙自然就是网站和搜索引擎(或者说搜索引擎蜘蛛)之间的协议。robots文件会放在根目录下,蜘蛛进入网站会第一时间访问这个文件,然后看看协议里面有没有禁止了那些页面不能抓取,如果禁止了就不会再去抓取。
一个页面想要去搜索引擎索引(收录),收录要有蜘蛛爬行和抓取,既然不抓取,理所当然的就会被认为这个页面是不会被收录。这样的思维是错误的,不抓取也是可以被索引(收录)。如淘宝就是一个典型的案例,网站添加了禁止协议,最后还是被收录。原因在于,百度从其它渠道平台推荐的外部链接了解到这个网站,虽然被禁止抓取,但从标题和推荐链接的数据里还是可以判断出与该页面相应的内容信息。
好了,关于robots的知识分享喜子就和大家说到这里。可能有些人还有疑问,比如说:robots既然不能够阻止页面被收录,有没有办法禁止索引(收录)呢?肯定是有的。至于如何禁止,使用操作方法如何,大家可以多关注喜子SEO(白帽技术网)后续的更新,也可以和喜子交流学习哦。
趁着写这篇文章,给这句话做个纠正,请大家认真阅读并且理解。如下:
如果你的网站添加了robots协议文件,并且设置了禁止搜索引擎蜘蛛的指令,那么你的网站内容将不会被抓取,但有可能会被收录(索引)。
有些人可能会有疑问,搜索引擎蜘蛛爬行url页面,页面需要有内容呈现出来反馈给到蜘蛛,才有可能会被收录。那么,如果内容都被禁止了还会被收录吗?这是什么意思呢?这个问题这里喜子先不解释,大家先看看下面的图片吧。

如图所示,以上是site淘宝域名出现被收录的结果。从site结果里面可以清楚的看到,这里收录了很多淘宝网站的页面,显示收录结果为2亿6159万个页面。但是大家不知道有没有发现一个问题,这些页面抓取的描述内容都是提示了这样一段文字:由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容描述。以下是截图:

robots禁止搜索引擎蜘蛛后为什么会被收录呢?
这里有个认知上的错误,也可能是惯性逻辑思维的错误思考。大家都认为蜘蛛不能抓取内容就不会收录,实际上爬行、抓取、索引(收录)是不同的概念。很多人学习SEO的时候,经常性的对一些SEO的概念混肴不清,导致在后面的SEO优化过程当中并不能发挥出很好的效果。
还是先来说说robots协议到底是在做什么?既然是协议,那肯定是双方同意、认可的规矩。这个甲乙自然就是网站和搜索引擎(或者说搜索引擎蜘蛛)之间的协议。robots文件会放在根目录下,蜘蛛进入网站会第一时间访问这个文件,然后看看协议里面有没有禁止了那些页面不能抓取,如果禁止了就不会再去抓取。

一个页面想要去搜索引擎索引(收录),收录要有蜘蛛爬行和抓取,既然不抓取,理所当然的就会被认为这个页面是不会被收录。这样的思维是错误的,不抓取也是可以被索引(收录)。如淘宝就是一个典型的案例,网站添加了禁止协议,最后还是被收录。原因在于,百度从其它渠道平台推荐的外部链接了解到这个网站,虽然被禁止抓取,但从标题和推荐链接的数据里还是可以判断出与该页面相应的内容信息。
好了,关于robots的知识分享喜子就和大家说到这里。可能有些人还有疑问,比如说:robots既然不能够阻止页面被收录,有没有办法禁止索引(收录)呢?肯定是有的。至于如何禁止,使用操作方法如何,大家可以多关注喜子SEO(白帽技术网)后续的更新,也可以和喜子交流学习哦。
很赞哦! ()
上一篇:「白帽技术」如何做SEO优化?
相关文章
随机图文
广州SEO优化哪家效果好?SEO关键词排名优化效果解析
不管你在广州也好,其他地方城市也好,SEO优化公司就像遍布各地的各种服务型公司一样,到处都是。那么,从事SEO优化技术的公司那么多,究竟哪一家比较好?SEO赚钱的十种技巧?SEO如何赚钱
我深深的想要通过的自己的SEO技术赚钱。其实,掌握一门技术是次要方面,学会把技术变现才是重中之重,所以你说学习SEO重要吗?挺重要,但绝不是最重要的。学SEO的赚钱方式才是最重要的。SEO发外链真的没有作用了吗?
如今各大搜索引擎巨头大佬们都在提出原创文章,大力打击劣质站点,很多SEOer就认为现在做网站优化只要更新原创文章就可以了,发外链也没有什么用。的确,关于外链百度官方也有过明确的表态,外链不是参与排序的因素。但,外链真的没有作用了吗?【转载】站长工具的百度权重如何计算?
喜子一直说百度是没有权重一说的,至今为止权重都只是第三方平台提出来的说法。SEOer所谓的百度权重指的都是站长之家给出来的权重划分标准,百度官方并没有承认。但这个标准一直以来都被业界用来衡量一个网站的好坏。下面喜子借用天鸿的文章给大家普及一下权重到底是什么?