Baiduspider、Googlebot、360Spider......众所周知，只有被搜索引擎蜘蛛 抓取并被收录的页面，才有可能参与到排名的竞争中，所以如何建立网站与“蜘 蛛”之间的联系，是各位站长最为关注的问题。如果操作的好的话，只要有用户 使用百度搜索就能很快的搜索到你的网站，这样的话日引 2000+粉真是小意思啦. 

    搜索引擎蜘蛛（又被称为网页蜘蛛、网络爬虫），采用极其复杂的抓取策略 去遍历互联网中尽可能多的网站，而且还要在保证对网站用户体验不受影响的综 合考量下，抓取更多有价值的资源。各大搜索引擎每天会派出蜘蛛，起点一般是 权重比较高的网站或是访问量很大的服务器。 

    蜘蛛会顺着内外链入口访问更多的网站页面，把网页信息存入数据库。就像 图书馆一样把不同的图书分类整理，最后压缩加密成自己可以读取的方式放在硬 盘上，供搜索的人索取。我们搜索的因特网，就是这个数据库。 从搜索引擎蜘蛛抓取的原理来看，SEO 要想培养蜘蛛定期抓取网站，应该做 到以下三点： 一、高质量、规律性更新网站文章内容。 首先，搜索引擎蜘蛛喜欢抓取规律更新的网站。从一定意义上说，网站的更 新频率与抓取频率是成正比的。即使在网站前期没有蜘蛛来抓取文章，也要定期 更新。这样蜘蛛才会获取并统计这个网站更新的规律，定期来进行新增内容抓取， 使网站文章更新后，能够尽可能快被抓取到。 其次，原创度、新鲜度较高的内容网页更容易被蜘蛛抓取收录。网站如果存 在大量重复内容，会让蜘蛛觉得抓取过多没有意义，还会使搜索引擎对网站质量 产生质疑，甚至会导致惩罚。“新鲜度”主要指内容的热门程度和实效性，新近 发生的“大事”、“热门事件”是比较容易被用户关注和被蜘蛛抓取。 除了以上两点外，关键词的分布也对蜘蛛的抓取有重要的影响。因为搜索引 擎分辨页面内容的重要因素之一就是关键词，但是关键词过多的堆砌会被搜索引 擎视为“作弊”行为，所以关键词的分布应该在控制在 5%左右。 二、确保服务器稳定工作。 服务器的稳定性不但关系到用户体验度问题，还会对蜘蛛的抓取造成很大影 响。SEO 应该定期检查服务器状态，查看网站日志，检查是否有 500 状态码等 标记，及时发现存在的隐患。 如果网站遇到黑客攻击、服务器网站误删、服务器硬件瘫痪等问题，并且宕 机超过 12 个小时，应该立即开启百度站长平台的闭站保护功能，防止百度误判 断网站出现大量抓取无效及死链页面，应及时修复网站与服务器。 长期不稳定的服务器会导致蜘蛛不能有效爬取页面，降低搜索引擎友好度， 从而出现收录下降、排名下降的情况。所以网站一定要选择性能稳定的服务器。

三、优化网站结构。 如果网站内容好，但是页面却收录却寥寥无几时，多数是因为页面根本没有 被蜘蛛爬取。这时就应该对网站进行全面检测，主要包括 Robots 文件、页面层 级、代码结构、网站链接等方面。 1、Robots 文件，全称“网络爬虫排除标准”（Robots Exclusion Protocol）。 网站通过 Robots 协议可以告诉蜘蛛哪些页面可以抓取，哪些页面不能抓取。 2、页面层级，表现在网站物理层级结构、逻辑层级结构等多方面。以逻辑 层级结构 URL 结构为例，方便记忆、层级简短、长度适中的静态 URL 是被搜索 引擎蜘蛛所喜爱的。URL 结构（以“/”为划分标志），一般不宜超过4 层，结 构太复杂不利于搜索引擎收录，也会影响到用户体验度。 3、网站代码类别、结构也会影响网页是否被蜘蛛抓取。如：IFRAME、Java Script 等代码，目前还不能被百度搜索引擎蜘蛛有效的理解、抓取，所以需要尽 量减少这类代码的使用。另外，过大的代码量也会导致蜘蛛抓取不完全。 4、网站链接是网页间权重传递的“入口”，链接的数量和质量，直接影响 到页面能否被蜘蛛抓取和收录。低质量链接堆砌只会给网站带来毁灭性的灾害， 且还要及时排除错误链接和死链接，减少蜘蛛对死链接的抓取时间。尽量多从正 规和相关站点获得反向链接，这样才可以提高网站的权重。 另外，网站也可以给蜘蛛提供一些快捷通道，比如 sitemap。一个结构清晰 的网站地图能让搜索引擎蜘蛛清楚的了解网站结构从而顺利的抓取整个网站页 面。 通过高质量内容更新、优质的链接交换、以及合理网站结构，可以让蜘蛛更 好的了解网站，抓取网站页面。但是不能为了吸引蜘蛛抓取而发布一些和网站内 容无关的页面，或是过度优化网站。因为只有真正用心去做，并且能给用户带来 价值的网站，才能被搜索引擎和用户喜欢。

文章来源：汇成广告联盟 http://www.hczzw.com