重复性的内容。用户搜索时，如果在前两页看到的都是来自不同网站的同一篇文章，用户体验 就太差了，虽然都是内容相关的。搜索引擎希望只返回相同文章中的一篇，所以在进行索引前 还需要识别和删除重复内容，这个过程就称为去重。

　　去重的基本方法是对页面特征关键词计算指纹，也就是说从页面主体内容中选取最有代表性的 一部分关键词（经常是出现频率最高的关键词），然后计算这些关键词的数字指纹。这里的关 键词选取是在分词、去停止词、消噪之后。实验表明，哈尔滨网站优化通常选取10个特征关键词就可以达到比 较高的计算准确性，再选取更多词对去重准确性提高的贡献也就不大了。

　　哈尔滨网站优化典型的指纹计算方法如MD5算法（信息摘要算法第五版）。这类指纹算法的特点是，输入（特 征关键词）有任何微小的变化，都会导致计算出的指纹有很大差距。

　　了解了搜索引擎的去重算法，SEO人员就应该知道简单地增加“的，地，得”、哈尔滨网站优化调换段落顺序 这种所谓伪原创，并不能逃过搜索引擎的去重算法，因为这样的操作无法改变文章的特征关键 词。而且搜索引擎的去重算法很可能不止于页面级别，而是进行到段落级别，混合不同文章、交叉调换段落顺序也不能使转载和哈尔滨网站优化抄袭变成原创。