由此可见,虽然理论上蜘蛛能爬行和抓取所有页面,但实际上不能也不会这么做。SEO人员要想自己的更多页面被收录,就要想方设法吸引蜘蛛来抓取。既然不能抓取所有页面,蜘蛛所要做的就是尽量抓取重要页面。哪些页面被认为比较重要呢?有几方面影响因素:
网站和页面权重。质量高、资格老的网站被认为权重比较高,这种网站上的页面被爬行 的深度也会比较高,所以会有更多内页被收录。
页面更新度。蜘蛛每次爬行都会把页面数据存储起来。如果第二次爬行发现页面与第一 次收录的完全一样,说明页面没有更新,蜘蛛也就没有必要经常抓取。如果页面内容经 常更新,蜘蛛就会更加频繁地访问这种页面,哈尔滨SEO页面上出现的新链接,也自然会被蜘蛛更 快跟踪,抓取新页面。
哈尔滨SEO导入链接。无论是外部链接还是同一个网站的内部链接,要被蜘蛛抓取就必须有导入链 接进入页面,否则蜘蛛根本没有机会知道页面的存在。高质量的导入链接也经常使页面 上的导出链接被爬行深度增加。
与首页点击距离。一般来说网站上权重最高的是首页,哈尔滨SEO大部分外部链接是指向首页,蜘 蛛访问最频繁的也是首页。离首页点击距离越近,页面权重越高,被蜘蛛爬行的机会也 越大。
|