白帽技术网 > SEO优化>「白帽技术」网站用robots文件禁止抓取，还会被索引收录吗SEO优化
「白帽技术」网站用robots文件禁止抓取，还会被索引收录吗
喜子seo2019-04-27 17:06:27【SEO优化】人已围观
简介大家都认为蜘蛛不能抓取内容就不会收录，实际上爬行、抓取、索引（收录）是不同的概念。很多人学习SEO的时候，经常性的对一些SEO的概念混肴不清，导致在后面的SEO优化过程当中并不能发挥出很好的效果。
SEO的一些基础上的东西总是容易被人忽略，比方说robots文件。喜子之前的文章有多次提到过这份文件的重要性，网站优化诊断的其中一项就是检查有无做这份文件，是否规范。之前的文章有提到过这么一句：如果网站的robots协议文件禁止了搜索引擎蜘蛛，那么无论你怎么优化都不会被收录。
趁着写这篇文章，给这句话做个纠正，请大家认真阅读并且理解。如下：
有些人可能会有疑问，搜索引擎蜘蛛爬行url页面，页面需要有内容呈现出来反馈给到蜘蛛，才有可能会被收录。那么，如果内容都被禁止了还会被收录吗？这是什么意思呢？这个问题这里喜子先不解释，大家先看看下面的图片吧。
如图所示，以上是site淘宝域名出现被收录的结果。从site结果里面可以清楚的看到，这里收录了很多淘宝网站的页面，显示收录结果为2亿6159万个页面。但是大家不知道有没有发现一个问题，这些页面抓取的描述内容都是提示了这样一段文字：由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述。以下是截图：
这里有个认知上的错误，也可能是惯性逻辑思维的错误思考。大家都认为蜘蛛不能抓取内容就不会收录，实际上爬行、抓取、索引（收录）是不同的概念。很多人学习SEO的时候，经常性的对一些SEO的概念混肴不清，导致在后面的SEO优化过程当中并不能发挥出很好的效果。
还是先来说说robots协议到底是在做什么？既然是协议，那肯定是双方同意、认可的规矩。这个甲乙自然就是网站和搜索引擎（或者说搜索引擎蜘蛛）之间的协议。robots文件会放在根目录下，蜘蛛进入网站会第一时间访问这个文件，然后看看协议里面有没有禁止了那些页面不能抓取，如果禁止了就不会再去抓取。
一个页面想要去搜索引擎索引（收录），收录要有蜘蛛爬行和抓取，既然不抓取，理所当然的就会被认为这个页面是不会被收录。这样的思维是错误的，不抓取也是可以被索引（收录）。如淘宝就是一个典型的案例，网站添加了禁止协议，最后还是被收录。原因在于，百度从其它渠道平台推荐的外部链接了解到这个网站，虽然被禁止抓取，但从标题和推荐链接的数据里还是可以判断出与该页面相应的内容信息。
好了，关于robots的知识分享喜子就和大家说到这里。可能有些人还有疑问，比如说：robots既然不能够阻止页面被收录，有没有办法禁止索引（收录）呢？肯定是有的。至于如何禁止，使用操作方法如何，大家可以多关注喜子SEO（白帽技术网）后续的更新，也可以和喜子交流学习哦。
趁着写这篇文章，给这句话做个纠正，请大家认真阅读并且理解。如下：
如果你的网站添加了robots协议文件，并且设置了禁止搜索引擎蜘蛛的指令，那么你的网站内容将不会被抓取，但有可能会被收录（索引）。
有些人可能会有疑问，搜索引擎蜘蛛爬行url页面，页面需要有内容呈现出来反馈给到蜘蛛，才有可能会被收录。那么，如果内容都被禁止了还会被收录吗？这是什么意思呢？这个问题这里喜子先不解释，大家先看看下面的图片吧。
如图所示，以上是site淘宝域名出现被收录的结果。从site结果里面可以清楚的看到，这里收录了很多淘宝网站的页面，显示收录结果为2亿6159万个页面。但是大家不知道有没有发现一个问题，这些页面抓取的描述内容都是提示了这样一段文字：由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述。以下是截图：
robots禁止搜索引擎蜘蛛后为什么会被收录呢？
这里有个认知上的错误，也可能是惯性逻辑思维的错误思考。大家都认为蜘蛛不能抓取内容就不会收录，实际上爬行、抓取、索引（收录）是不同的概念。很多人学习SEO的时候，经常性的对一些SEO的概念混肴不清，导致在后面的SEO优化过程当中并不能发挥出很好的效果。
还是先来说说robots协议到底是在做什么？既然是协议，那肯定是双方同意、认可的规矩。这个甲乙自然就是网站和搜索引擎（或者说搜索引擎蜘蛛）之间的协议。robots文件会放在根目录下，蜘蛛进入网站会第一时间访问这个文件，然后看看协议里面有没有禁止了那些页面不能抓取，如果禁止了就不会再去抓取。
一个页面想要去搜索引擎索引（收录），收录要有蜘蛛爬行和抓取，既然不抓取，理所当然的就会被认为这个页面是不会被收录。这样的思维是错误的，不抓取也是可以被索引（收录）。如淘宝就是一个典型的案例，网站添加了禁止协议，最后还是被收录。原因在于，百度从其它渠道平台推荐的外部链接了解到这个网站，虽然被禁止抓取，但从标题和推荐链接的数据里还是可以判断出与该页面相应的内容信息。
好了，关于robots的知识分享喜子就和大家说到这里。可能有些人还有疑问，比如说：robots既然不能够阻止页面被收录，有没有办法禁止索引（收录）呢？肯定是有的。至于如何禁止，使用操作方法如何，大家可以多关注喜子SEO（白帽技术网）后续的更新，也可以和喜子交流学习哦。
很赞哦！ ()
上一篇：「白帽技术」如何做SEO优化？
相关文章
随机图文
新站沙盒期优化技术有绝招？
有些人在问沙盒期怎么避免，那对于沙盒期如何快速度过，其实没有太好的办法，只能是检查高质量+原创内容输出，然后有可能的话找一些权重高的平台，做点高质量的友链和外部链接导入，这样肯定是对网站度过沙盒期是有好处的。
喜子SEO对外链发布的一些浅析
外链怎么发？SEOer优化网站除了编辑文章，还需要对网站发布外部链接。有些人可能不是很在意外链这个事情，认为外链没有作用，会有这样的想法的人是因为没有很好的发过外链，纯粹是误导别人。喜子SEO认为优质的外链是能够影响排名的，想要网站运营的好就必须学会如何发布优质的外部链接。
广州白云区SEO优化哪家好？
现如今SEO优化技术已经是越来越广泛的应用到企业的推广当中了，不论是产品项目销售推广，亦或者是品牌形象的口碑推广，都是不错的选择。
如何建立一个符合SEO的网站，企业官网如何优化？
如何搭建一个符合SEO优化的企业官网呢？很多企业官网搭建网站之后，基本上是不做优化的，有些企业站甚至都没有被收录，这样的网站搭建之后几乎是处于一种荒废的状态。如果你是一个企业老板，想要搭建一个公司的官方网站，但是发现建站之后网站没有收录、没有排名、没有流量，甚至百度上都搜索公司的品牌名都找不到自己的网站，这个时候会不会觉得这个建站的钱花的不值得呢？
