搜索引擎蜘蛛原理深入剖析

经常与站长打交道，定期组织A5杂谈站长录活动，对于搜索引擎蜘蛛工作原理也有一定了解，再此总结个人的一些心得，没有涉及到任何的技术，重在思维。认真读的朋友，一定会有收获。
　　搜索引擎好比总司令，蜘蛛就是他的手下。蜘蛛也分等级，我们就简单分成3个等级，初级蜘蛛(普通士兵)，中级蜘蛛(普通军官)，高级蜘蛛(高级军官)。

　　我们一直认为蜘蛛很神秘，其实很简单，其原理是。它就相当一个我们有经常用到的采集器，能抓取到你网站的页面，将你网站页面的内容放入自己的数据库，将采集到的结果与数据库原有的信息一一进行匹配，从而判断你文章的原创度。这个过程相当复杂，庞大，需要有非常强大的服务器。我们把文章分成5个等级，人气高度的原创文章等级为5，一般原创文章等级为4，高度伪原创等级为3，依次类推。搜索引擎就将对应的文章放入对应的位置，人气高度的原创文章给予的权重是最高的，从而会给你这个文章的页面带来排名(当然还要经过一些简单的优化，比如做四处一词等)。

　　整个过程就这么简单，那么蜘蛛如果才能来到你的页面呢。前面提到过，蜘蛛分成3个等级，权重高的网站，由高级蜘蛛去负责，比如A5杂谈、SEOWHY、落伍者等，这些网站高级蜘蛛来的最勤快，所以给与这些网站的帖子和签名权重高于一般的普通论坛，高级蜘蛛有秒收的权利，所以这就是为什么这些论坛的高质量帖子都能秒收。中级蜘蛛，中级蜘蛛通过你的外链或友情链接等来到你的网站，抓取你网站的内容，然后按照上诉的文章的等级进行划分，放入相对应的数据库，从而在决定收不收录，这个需要一定时间，所以为什么有的站长网站收录和快照有多有少，有快有慢。初级蜘蛛，这类型的蜘蛛基本上都是打酱油的，主要任务是负责新站，负责新站文章的采集，所以这就是为什么新站收录需要时间，因为它对你有个观察期。它得逐级的向上汇报，直到总司令点头同意，在收录你网站。

　　我们就以这篇文章为例，这篇文章的权重如何去判断呢?取决于大家的回复。一篇帖子，回复率越高，权重越高。回复也分等级和权重的，所以为什么很多人喜欢抢楼，第一名和到第三名的签名锚文本权重是最高的。那么后面的签名是不是就没有权重了呢?不是的。假如这篇文章回复超过100，有5个回复页面，首页的签名权重是最高的，第二页稍微低一些，依次类推。如果这篇文章获得4的PR值，那么第一页第一名的回复权重至少是2!相当于一个单向的友链!第一页最后一名的权重至少是1。如果这篇文章回复超过500，PR值到5，第一页第一名的回复权重至少是3，第一页最后一名的权重至少是2。同时其他越靠前的页面获得的权重越高。第二页能获得5的PR值!如果这篇文章回复超过1000，PR值到7，那么前500个回复签名受益最大!回复的人越多，你的签名越靠前，你的签名PR值越高!

　　用心读完的朋友一定从中能够得到收获，写下你的心得，不要用刷贴机或者复制内里面的话进行回复，一定要用心写下你读文章的心得，这样你的签名获得的权重是最高的!哪怕是最后一名，也会得到一些权重，至少能获得一次蜘蛛爬行你网站的机会。