百度是中国目前的第一大搜索引擎，具有完善的一套爬虫算法，理解百度仿站网蜘蛛的爬虫原理，对我们SEO优化工作有着无足轻重的作用。
我们能够从下面这张图片来细致理解百度蜘蛛爬取网页的一整套流程和体系
第一步：抓取网页
百度蜘蛛先从索引区动身抓取网络上的网页链接，初步蜘蛛抓取的是全网的链接，没有针对性和目的性
第二步：挑选过滤(收录)
百度蜘蛛将抓取到的网页放入索引库来停止挑选和过滤，将契合百度算法和规则的内容停止索引，将不契合的内容停止剔除，还有一局部的内功寄存，停止二次的挑选过滤，这样不时的停止循环
第三步：停止索引
很多站长都会发现，本人的网站收录和索引不相等，也有很多站长以为收录=索引，其实不然，普通而言，收录是大于索引的。由于只要收录的文章才有资历被索引，被百度晓得抓取到的契合引荐的文章，百度会停止索引。并不是一切的收录的文章都会被百度索引，这一点是很重要的，也是很多站长所不晓得的，裘哥在这里为大家重点来指出!
第四步：排名展示
这是我们做网站优化人员最想看到的结果，也是蜘蛛抓取网页流程的最后一步，在索引区的文章，百度会统一的来停止分类，归档，排序，然后将内容反应给搜索的用户。而我们SEO人员要做的就是将百度算法引荐给用户的文章索引排到相对较好的位置，从而来完成我们的流量转化和表现我们SEO人员的价值。
