白帽技术网 > SEO白帽技术>「白帽技术」网站用robots文件禁止抓取，还会被索引收录吗SEO白帽技术
「白帽技术」网站用robots文件禁止抓取，还会被索引收录吗
喜子seo2019-04-27 17:06:27【SEO白帽技术】人已围观
简介大家都认为蜘蛛不能抓取内容就不会收录，实际上爬行、抓取、索引（收录）是不同的概念。很多人学习SEO的时候，经常性的对一些SEO的概念混肴不清，导致在后面的SEO优化过程当中并不能发挥出很好的效果。
SEO的一些基础上的东西总是容易被人忽略，比方说robots文件。喜子之前的文章有多次提到过这份文件的重要性，网站优化诊断的其中一项就是检查有无做这份文件，是否规范。之前的文章有提到过这么一句：如果网站的robots协议文件禁止了搜索引擎蜘蛛，那么无论你怎么优化都不会被收录。
趁着写这篇文章，给这句话做个纠正，请大家认真阅读并且理解。如下：
有些人可能会有疑问，搜索引擎蜘蛛爬行url页面，页面需要有内容呈现出来反馈给到蜘蛛，才有可能会被收录。那么，如果内容都被禁止了还会被收录吗？这是什么意思呢？这个问题这里喜子先不解释，大家先看看下面的图片吧。
如图所示，以上是site淘宝域名出现被收录的结果。从site结果里面可以清楚的看到，这里收录了很多淘宝网站的页面，显示收录结果为2亿6159万个页面。但是大家不知道有没有发现一个问题，这些页面抓取的描述内容都是提示了这样一段文字：由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述。以下是截图：
这里有个认知上的错误，也可能是惯性逻辑思维的错误思考。大家都认为蜘蛛不能抓取内容就不会收录，实际上爬行、抓取、索引（收录）是不同的概念。很多人学习SEO的时候，经常性的对一些SEO的概念混肴不清，导致在后面的SEO优化过程当中并不能发挥出很好的效果。
还是先来说说robots协议到底是在做什么？既然是协议，那肯定是双方同意、认可的规矩。这个甲乙自然就是网站和搜索引擎（或者说搜索引擎蜘蛛）之间的协议。robots文件会放在根目录下，蜘蛛进入网站会第一时间访问这个文件，然后看看协议里面有没有禁止了那些页面不能抓取，如果禁止了就不会再去抓取。
一个页面想要去搜索引擎索引（收录），收录要有蜘蛛爬行和抓取，既然不抓取，理所当然的就会被认为这个页面是不会被收录。这样的思维是错误的，不抓取也是可以被索引（收录）。如淘宝就是一个典型的案例，网站添加了禁止协议，最后还是被收录。原因在于，百度从其它渠道平台推荐的外部链接了解到这个网站，虽然被禁止抓取，但从标题和推荐链接的数据里还是可以判断出与该页面相应的内容信息。
好了，关于robots的知识分享喜子就和大家说到这里。可能有些人还有疑问，比如说：robots既然不能够阻止页面被收录，有没有办法禁止索引（收录）呢？肯定是有的。至于如何禁止，使用操作方法如何，大家可以多关注喜子SEO（白帽技术网）后续的更新，也可以和喜子交流学习哦。
趁着写这篇文章，给这句话做个纠正，请大家认真阅读并且理解。如下：
如果你的网站添加了robots协议文件，并且设置了禁止搜索引擎蜘蛛的指令，那么你的网站内容将不会被抓取，但有可能会被收录（索引）。
有些人可能会有疑问，搜索引擎蜘蛛爬行url页面，页面需要有内容呈现出来反馈给到蜘蛛，才有可能会被收录。那么，如果内容都被禁止了还会被收录吗？这是什么意思呢？这个问题这里喜子先不解释，大家先看看下面的图片吧。
如图所示，以上是site淘宝域名出现被收录的结果。从site结果里面可以清楚的看到，这里收录了很多淘宝网站的页面，显示收录结果为2亿6159万个页面。但是大家不知道有没有发现一个问题，这些页面抓取的描述内容都是提示了这样一段文字：由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述。以下是截图：
robots禁止搜索引擎蜘蛛后为什么会被收录呢？
这里有个认知上的错误，也可能是惯性逻辑思维的错误思考。大家都认为蜘蛛不能抓取内容就不会收录，实际上爬行、抓取、索引（收录）是不同的概念。很多人学习SEO的时候，经常性的对一些SEO的概念混肴不清，导致在后面的SEO优化过程当中并不能发挥出很好的效果。
还是先来说说robots协议到底是在做什么？既然是协议，那肯定是双方同意、认可的规矩。这个甲乙自然就是网站和搜索引擎（或者说搜索引擎蜘蛛）之间的协议。robots文件会放在根目录下，蜘蛛进入网站会第一时间访问这个文件，然后看看协议里面有没有禁止了那些页面不能抓取，如果禁止了就不会再去抓取。
一个页面想要去搜索引擎索引（收录），收录要有蜘蛛爬行和抓取，既然不抓取，理所当然的就会被认为这个页面是不会被收录。这样的思维是错误的，不抓取也是可以被索引（收录）。如淘宝就是一个典型的案例，网站添加了禁止协议，最后还是被收录。原因在于，百度从其它渠道平台推荐的外部链接了解到这个网站，虽然被禁止抓取，但从标题和推荐链接的数据里还是可以判断出与该页面相应的内容信息。
好了，关于robots的知识分享喜子就和大家说到这里。可能有些人还有疑问，比如说：robots既然不能够阻止页面被收录，有没有办法禁止索引（收录）呢？肯定是有的。至于如何禁止，使用操作方法如何，大家可以多关注喜子SEO（白帽技术网）后续的更新，也可以和喜子交流学习哦。
很赞哦！ ()
上一篇：「白帽技术」如何做SEO优化？
相关文章
随机图文
喜子SEO：SEO是什么专业，中文是什么意思？
SEO是什么专业，中文是什么意思？首先喜子SEO先做一个简单的介绍吧。SEO是什么呢？英文Search Engine Optimization指的就是它，翻译成中文就是搜索引擎优化的意思。
SEO优化技术越来越尴尬了，是百度又抽风了吗
如今国内做百度优化的SEOer面临的问题往往是转化的问题，辛辛苦苦优化的网站，未必有好的排名，有排名的关键词，未必有流量，就算真的来了很多的流量，也不一定能够有好的成交结果。而企业老板，只关心赚钱不赚钱。
新网站被收录后却找不到排名的原因
站长们辛辛苦苦搭建好了网站，呕心沥血虽说还不至于，但也是像自己的孩子一般的去呵护去维护自己的网站。好不容易把网站搭建好了，就想着什么时候能有收录，是否会有流量访问IP进来。可左等右等，网站收录倒是被收录了，可一检查title标题关键词，翻遍了百度72页都找不到排名，这是怎么回事呢？
「白帽技术」如何做SEO优化？
白帽技术是一种被搜索引擎认可的SEO优化技术，TA是符合搜索引擎算法规则的一种优化方法。从另一个角度讲，白帽技术其实也是在协助搜索引擎树立起良性排序的竞争环境。
