【导读】通常来说，在网站的建设过程中，重复内容的产生很难避免，但是重复内容在很大程度上会影响网站在搜索引擎中的表现。今天和大家探讨的内容就是重复内容产生的原因以及解决方法。
通常来说，在网站的建设过程中，重复内容的产生很难避免，但是重复内容在很大程度上会影响网站在搜索引擎中的表现。今天和大家探讨的内容就是重复内容产生的原因以及解决方法。
产生重复内容的主要原因
1，网址规范化问题。
网址规范化问题包括主域名的规范化和页面URL地址规范化两个方面，主域名的规范化需要规范化。另外是内页URL的规范化，通常为了让搜索引擎能够更好的抓取网站内容，我们会将URL进行伪静态处理，而一般的网站伪静态之后，原始的动态URL依然存在并能够访问，这样就造成了多个URL访问相同网址。
2，内容的其他版本
很多网站除了提供正常的版本之外还提供一些其它的浏览版本，比如打印版本或者简版，却并没有禁止搜索引擎去抓取这些页面，而这些页面也因此变成了重复内容页面。
3，网站结构
很多网站在结构设计之初并没考虑SEO方面的因素，结果是导致造成各种页面版本，比如产品按价格，评论，时间排序等，特别是一些电子商务网站，这种页面重复现象尤为严重。
4，URL任意加字符还是返回200状态码。
一些网站是因为网站程序和技术的原因，用户在URL参数后面随意加上一些字符都能够正常访问，并且页面是和没加之前的完全重复。
检查页面是否有重复版本有一个比较简单的方法，就是将内容随机选择一句话加双引号后进行搜索，从结果中就可以看到有多少个重复的页面。因为通常来说随机选一句话进行搜索完全生命的机率是比较小的。
重复内容的危害
很多做SEO的存在一个误区，那就是认为如果网站上有重复内容就会被搜索引擎惩罚，其实倒没有这么严重，搜索引擎会在所有的重复页面中选择一个认为最佳的版本去参与排名，其它相似的内容不会同时拥有排名。
那么问题也就来了，第一，搜索引擎如何去判断哪个页面是最正版的，是否和网站管理员想推荐的页面一致，如果搜索引擎判断失误，把原创的页面当成了复制内容，复制页面当成了原创页面，而你在进行推广的过程中却是原版，那就是做了无用功。另外同一个网站内的页面存在多个复制内容会分散页面权重，既然页面在网站上出现了，就必然会有链接链向这个页面，而如果链接是统一的，那以全部的权重都可以进行集中，同时相同页面的收录在一定程度上也占用了搜索引擎蜘蛛的抓取精力，减少了原本真正需要进行抓取页面的收录机率。
消除复制内容的方法
网址规范化问题最好的方法是一个页面只对应一个URL，不要出现多个不同的版本，网站所有链接都指向这个URL。当然有些时候因为程度原来或者其它原因，无法完全统一为一个URL，那么我们可以采用以下三种方式进行集中权重。
1，301重定向
301能够传递页面的权重，目前来说主流搜索引擎都支持301重定向，可以将复制内容的页面全部通过301永久重定向的方式跳转到原版页面。
2，robots文件禁止
通过在robots.txt文件中禁止复制内容被搜索引擎抓取，也能有效的解决网址重复问题。
3，canonical标签
canonical标签是由谷歌，雅虎在2009年共同发布的一个新的标签，目前百度也表示支持canonical标签，这个标签也可以用于解决网址重复的问题。
添加了以上标签后，也就相当于告诉搜索引擎哪个网址是最规范原创的版本，其它复制内容都是指向这一个唯一的网址，有一点页面301传递权重的意思，但是301是页面直接跳转了，而加这个标签后，页面还是停留在原始地址。
产生重复内容的主要原因
1，网址规范化问题。
网址规范化问题包括主域名的规范化和页面URL地址规范化两个方面，主域名的规范化需要规范化。另外是内页URL的规范化，通常为了让搜索引擎能够更好的抓取网站内容，我们会将URL进行伪静态处理，而一般的网站伪静态之后，原始的动态URL依然存在并能够访问，这样就造成了多个URL访问相同网址。
2，内容的其他版本
很多网站除了提供正常的版本之外还提供一些其它的浏览版本，比如打印版本或者简版，却并没有禁止搜索引擎去抓取这些页面，而这些页面也因此变成了重复内容页面。
3，网站结构
很多网站在结构设计之初并没考虑SEO方面的因素，结果是导致造成各种页面版本，比如产品按价格，评论，时间排序等，特别是一些电子商务网站，这种页面重复现象尤为严重。
4，URL任意加字符还是返回200状态码。
一些网站是因为网站程序和技术的原因，用户在URL参数后面随意加上一些字符都能够正常访问，并且页面是和没加之前的完全重复。
检查页面是否有重复版本有一个比较简单的方法，就是将内容随机选择一句话加双引号后进行搜索，从结果中就可以看到有多少个重复的页面。因为通常来说随机选一句话进行搜索完全生命的机率是比较小的。
重复内容的危害
很多做SEO的存在一个误区，那就是认为如果网站上有重复内容就会被搜索引擎惩罚，其实倒没有这么严重，搜索引擎会在所有的重复页面中选择一个认为最佳的版本去参与排名，其它相似的内容不会同时拥有排名。
那么问题也就来了，第一，搜索引擎如何去判断哪个页面是最正版的，是否和网站管理员想推荐的页面一致，如果搜索引擎判断失误，把原创的页面当成了复制内容，复制页面当成了原创页面，而你在进行推广的过程中却是原版，那就是做了无用功。另外同一个网站内的页面存在多个复制内容会分散页面权重，既然页面在网站上出现了，就必然会有链接链向这个页面，而如果链接是统一的，那以全部的权重都可以进行集中，同时相同页面的收录在一定程度上也占用了搜索引擎蜘蛛的抓取精力，减少了原本真正需要进行抓取页面的收录机率。
消除复制内容的方法
网址规范化问题最好的方法是一个页面只对应一个URL，不要出现多个不同的版本，网站所有链接都指向这个URL。当然有些时候因为程度原来或者其它原因，无法完全统一为一个URL，那么我们可以采用以下三种方式进行集中权重。
1，301重定向
301能够传递页面的权重，目前来说主流搜索引擎都支持301重定向，可以将复制内容的页面全部通过301永久重定向的方式跳转到原版页面。
2，robots文件禁止
通过在robots.txt文件中禁止复制内容被搜索引擎抓取，也能有效的解决网址重复问题。
3，canonical标签
canonical标签是由谷歌，雅虎在2009年共同发布的一个新的标签，目前百度也表示支持canonical标签，这个标签也可以用于解决网址重复的问题。
添加了以上标签后，也就相当于告诉搜索引擎哪个网址是最规范原创的版本，其它复制内容都是指向这一个唯一的网址，有一点页面301传递权重的意思，但是301是页面直接跳转了，而加这个标签后，页面还是停留在原始地址。