关于搜索引擎原理之网页去重原理

西安推广专业员与大家解说以下分析：

　　在互联网如此发达的今天，同一资料会在多个网站发布，同一新闻会被大部分媒体网站报道，造成了网络上拥有大量的重读信息。然而当用户搜索某个关键词时，搜索引擎必定不想呈献给用户的搜索结果都是相同的内容。抓取这些重复的网页，在一定意义上就是对搜索引擎自身资源的浪费，因此去除重复内容的网页也成了搜索引擎所面临的一大问题。

　　在一般的搜索引擎架构中，网页去重一般在spider抓取部分就存在了，“去重”步骤在整个搜索引擎架构中实施的越早，越可以节约后续处理系统的资源使用。搜索引擎一般会对已经抓取过的重复页面进行归类处理，比如，判断某个站点是否包含大量的重复页面，或者该站点是否完全采集其他站点的内容等，以决定以后对该站点的抓取情况或是否直接屏蔽抓取。

　　去重的工作一般会在分词之后和索引之前进行，搜索引擎会在页面已经分出的关键词中，提取部分具有代表性的关键词，然后计算这些关键词的“指纹”。每一个网页都会有个这样的特征指纹，当新抓取的网页的王建辞职文和已索引网页的关键词指纹有重合时，那么该网页就可能会被搜索引擎视为重复内容而放弃索引。

　　实际工作中的搜索引擎，不仅仅使用分词步骤所分出的有意义的关键词，还会使用连续切割的方式提取关键词，并进行指纹计算。连续切割就是以单个字向后移动的方式进行切词，比如，“百度开始打击买卖链接”会被切成“百度开”“度开始”“开始打”“始打击”“打击买”“击买卖”“买链接”“卖链接”。然后从这些词中提取部分关键词进行指纹计算，参与是否重复内容的对比，具体的可以参考搜索引擎原理之中文分词技术这篇文章，这只是搜索引擎识别重复网页的基本算法，还有很多其他对付重复网页的算法。

　　所以SEO在面对网站内容时，不应该再以伪原创的角度去建设，而需要以对用户游泳的角度去建设，虽然后者的内容不一定全是原创，一般如果网站权重没有大问题，都会得到健康的发展。

　　另外，不仅仅是搜索引擎需要“网页去重”，自己做网站也需要对站内页面进行去重。比如分类信息，如果不加以限制，用户所发布的信息必然会有大量的重复，这样不仅在SEO方面表现不好，站内用户体验也会降很多。

西安花想容网络科技有限公司我们全心致力于企事业单位的建站和电子商务的应用及推广。公司提供从域名注册、服务器空间、网站建设、网站推广、网络大数据推广、网络营销（微信公众号、小程序）的开发维护、企业分销商城和网络运营托管的全程服务。    联系方式：029-65619961

关于搜索引擎原理之网页去重原理

西安推广专业员与大家解说以下分析：

　　在互联网如此发达的今天，同一资料会在多个网站发布，同一新闻会被大部分媒体网站报道，造成了网络上拥有大量的重读信息。然而当用户搜索某个关键词时，搜索引擎必定不想呈献给用户的搜索结果都是相同的内容。抓取这些重复的网页，在一定意义上就是对搜索引擎自身资源的浪费，因此去除重复内容的网页也成了搜索引擎所面临的一大问题。

　　在一般的搜索引擎架构中，网页去重一般在spider抓取部分就存在了，“去重”步骤在整个搜索引擎架构中实施的越早，越可以节约后续处理系统的资源使用。搜索引擎一般会对已经抓取过的重复页面进行归类处理，比如，判断某个站点是否包含大量的重复页面，或者该站点是否完全采集其他站点的内容等，以决定以后对该站点的抓取情况或是否直接屏蔽抓取。

　　去重的工作一般会在分词之后和索引之前进行，搜索引擎会在页面已经分出的关键词中，提取部分具有代表性的关键词，然后计算这些关键词的“指纹”。每一个网页都会有个这样的特征指纹，当新抓取的网页的王建辞职文和已索引网页的关键词指纹有重合时，那么该网页就可能会被搜索引擎视为重复内容而放弃索引。

　　实际工作中的搜索引擎，不仅仅使用分词步骤所分出的有意义的关键词，还会使用连续切割的方式提取关键词，并进行指纹计算。连续切割就是以单个字向后移动的方式进行切词，比如，“百度开始打击买卖链接”会被切成“百度开”“度开始”“开始打”“始打击”“打击买”“击买卖”“买链接”“卖链接”。然后从这些词中提取部分关键词进行指纹计算，参与是否重复内容的对比，具体的可以参考搜索引擎原理之中文分词技术这篇文章，这只是搜索引擎识别重复网页的基本算法，还有很多其他对付重复网页的算法。

　　所以SEO在面对网站内容时，不应该再以伪原创的角度去建设，而需要以对用户游泳的角度去建设，虽然后者的内容不一定全是原创，一般如果网站权重没有大问题，都会得到健康的发展。

　　另外，不仅仅是搜索引擎需要“网页去重”，自己做网站也需要对站内页面进行去重。比如分类信息，如果不加以限制，用户所发布的信息必然会有大量的重复，这样不仅在SEO方面表现不好，站内用户体验也会降很多。

西安花想容网络科技有限公司我们全心致力于企事业单位的建站和电子商务的应用及推广。公司提供从域名注册、服务器空间、网站建设、网站推广、网络大数据推广、网络营销（微信公众号、小程序）的开发维护、企业分销商城和网络运营托管的全程服务。    联系方式：029-65619961