搜索引擎蜘蛛爬取网站，抓取数据的规则

搜索引擎蜘蛛的抓取规则，如下四点提供参考：

1、搜索引擎蜘蛛要能看到链接文字

这个是搜索引擎蜘蛛匍匐时可以检索到的文字，假如文字或链接是经过JavaScript调用，蜘蛛是检索不到的。页面的文字内容中主要内容位置越靠前越有利，例如产品称号放到页面越靠前的位置，对该页面产品关键词的排名越有利。

2、搜索引擎蜘蛛能匍匐未经 nofollow处置过的链接

这一项列出的是搜索引擎蜘蛛可以检索到链接，蜘蛛可以经过这些链接访问网站其他页面，越靠前的链接，被蜘蛛匍匐的几率就越大，被搜索引擎收录的可能性越高。

3、搜索引擎蜘蛛能发现图片链接并能阅读到这些图片所包含的含义

这里主要展现该页面被搜索引擎蜘蛛和国际W3C规范化监测器所检索到的图片，搜索引擎可以依据图片at="" 去判别该图片的类型，性质和主题，关于判别该图片链接的页面的主题有宏大协助，能有效进步商品展现页的搜索引擎排名依据W3C规范，页面上一切图片都必需添加alt="" 图片注释，网站Logo运用网站称号加简短描绘，商品图片运用商品称号，网页框架图片留空。

4、搜索引擎蜘蛛能很好地辨认HTML代码

模仿搜索引擎蜘蛛匍匐该页面时，取得的“最简化代码->是指过滤css， JavaScript后的代码”，由此能够看出减少代码空行，换行，空格等多余代码空间十分重要。