网站规划技巧-重复页面怎样排查：从一次假设的栏目改版说起
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /d7cbe885dc94.html
📄
网站规划技巧-重复页面怎样排查：从一次假设的栏目改版说起
重复页面排查的核心，是先用可复现的方法找出内容高度相同或高度相似的URL，再判断它们是怎样产生的，最后决定保留哪一个、处理其余哪一个。对第一次接触这个问题的人来说，起点不是马上改代码，而是先列出所有可访问的URL，做一次内容比对；下一步才是按来源分类处理。下面用一个假设的例子展开。
假设例子：栏目改版后多出一批相似网址
假设某网站原来有一个产品栏目，网址是 /products/，后来改版时新增了 /product/，同时保留了旧的列表分页、标签页和打印页。此时可能出现同一批产品内容对应多个网址的情况：
/products/item-a与/product/item-a内容基本相同；/products/item-a?sort=price只是排序不同，正文主体一致；/products/item-a/print是打印版本，正文与主页面重复；/tag/item-a标签页聚合了同一件产品，描述文字很少。
这些网址如果都能被访问、都能被链接到，就可能被搜索引擎分别抓取。排查的目标不是立刻删除，而是先确认哪些是真正重复，哪些只是参数不同但内容有差异。
第一步：用可执行的方法收集候选网址
从网站已有的入口出发，而不是凭记忆猜测。可以执行的操作是：
- 打开站点地图文件，把其中列出的URL复制到表格；
- 从首页、栏目页和文章页中，收集页面内链指向的URL；
- 对同一路径分别去掉参数、去掉结尾斜杠、切换大小写，观察是否仍能打开同一内容；
- 把收集到的URL逐条访问，记录状态码、页面标题和正文首段。
判断结果：如果两个URL的标题、正文主体和主要信息几乎一致，只是网址不同，就列为重复候选；如果正文主体明显不同，只是模板相同，则不算重复页面，应分开处理。
第二步：区分重复页面的常见来源
重复页面的产生原因不同，处理方式也不同。常见来源包括：
- 参数变体：筛选、排序、分页、跟踪参数产生多个网址，但正文主体相同；
- 路径变体：改版或迁移后新旧路径并存，例如
/old/item与/new/item； - 协议与主机名变体：同一页面可通过不同主机名或协议访问；
- 打印页与移动页：为特定用途生成的版本，正文与主页面高度一致；
- 标签页与聚合页：自动聚合内容，描述文字少，容易与详情页重复；
- 内容采集或转载：同一篇文章出现在站内多个栏目下。
这里要区分“可能原因”和“已经定位的原因”。看到参数变体，只能说明参数是候选来源；要确认它是否真的被独立抓取和索引，还需要查看服务器日志或搜索表现数据。不同搜索引擎对参数和重复内容的处理方式并不相同，不能用一个平台的观察结果直接推断另一个平台。
第三步：按来源选择处理方式
确认来源后，再决定保留和处置方式。可参考以下判断：
- 如果两个网址内容相同，且其中一个有稳定外链和访问量，保留它，另一个用301重定向指向保留页；
- 如果参数只是排序或筛选，且不改变正文主体，可用规范链接指向无参数版本，并检查站内链接是否指向规范版本；
- 如果打印页只是辅助功能，可保留访问但用规范链接指向主页面，或限制其被抓取；
- 如果标签页内容稀少且与详情页重复，可考虑合并、补充独特说明，或不再让搜索引擎抓取。
适用条件：301重定向适合旧网址不再需要独立存在的场景；规范链接适合两个网址都需要保留访问、但希望搜索引擎只选一个的场景。判断结果要看处理后的抓取和索引变化，而不是当天改完就下结论。
第四步：检查容易犯的错误
第一次排查时，常见错误有：
- 只改一个页面，却忽略站内其他页面仍链接到重复网址；
- 把内容不同的页面误判为重复，直接重定向，造成有效页面丢失；
- 同时使用重定向和规范链接指向不同目标，信号互相冲突；
- 改完后立刻比较流量，忽略搜索需求变化、季节波动和数据采集差异。
比较改动前后时，应选择足够长的观察窗口，并记录改动日期、涉及网址和对应数据。一次改动前后的差异，不能单独归因于重复页面处理。
下一步可以做什么
先选一个栏目，按上面的步骤收集20到50个URL，填入表格，标出内容相同、内容相似和内容不同三类。完成分类后，再对第一类网址确定保留目标，并检查站内链接是否都指向保留目标。这个动作可以直接执行，也能为后续更大范围的排查提供判断依据。
