Bot Dataset

大多数情况下需要做更多工作来设置。

但理想的设置是什么样的？
首先，重要的是要明白，没有“一刀切的解决方案”。为了获得理想的设置，您很可能需要使用上述选项的组合。我将在下面重点介绍一个适用于大多数网站的示例修复方法，但重要的是要明白，您的解决方案可能会根据您网站的构建方式、URL 的结构等而有所不同。

幸运的是，我们可以通过问自 广告数据库 己一个问题来分析如何获得理想的解决方案。“我们更关心我们的抓取预算，还是我们的链接权益？”通过回答这个问题，我们能够更接近理想的解决方案。

考虑一下：您有一个网站，该网站具有分面导航，允许索引和发现每个单独的方面和方面组合。您不关心链接权益，但显然 Google 正在花费宝贵的时间来抓取数百万个不需要抓取的页面。在这种情况下，我们关心的是抓取预算。

在这种特定情况下，我建议采用以下解决方案。

类别、子类别和子子类别页面应保持可发现和可索引。
对于每个类别页面，仅允许选择 1 个方面的版本进行索引。
在选择了一个或多个方面的页面上，所有方面链接都变为“
确定哪些方面可能具有 SEO 优势（例如“颜色”和“品牌”）并将它们列入白名单。本质上，将它们重新放入索引中以用于 SEO 目的。
确保您的规范标签和 rel=prev/next标签已适当设置。
此解决方案将（及时）开始解决由于网站导航而导致不必要的页面出现在索引中的问题。另外，请注意，在这种情况下，我们结合使用了可能的解决方案。我们使用了“nofollow”、“noindex、nofollow”和适当的规范化来实现更理想的结果。