好吧，我花了一段时间才把这个弄好。在这张图的中间，我纠正了一个重要的错误，即我在 Ahrefs 上只查看根域，而不是根域和所有子域。这对 Ahrefs 来说是不公平的，直到我最终在二月份纠正了所有错误。从那时起，Moz 一直在积极增加其索引，Majestic 通过之前讨论的网络获得了 LRD 计数但趋于稳定，而 Ahrefs 的规模保持相对稳定。由于这些指标的“对抗性”性质，它给人一种 Ahrefs 正在大幅下降的假象。事实并非如此。他们仍然很庞大，Majestic 也是如此。真正的收获是方向性的：相对于他们的网络，Moz 正在急剧增长。截至撰写本文时，Moz 正在获胜。
速度
在几乎所有行业中，“率先知道”都是很重要的一部分，对于链接索引来说也不例外。您希望尽快知道链接何时上升或下降以及该链接的质量如何，以便在必要时做出响应。这是我们当前的速度指标。
快速抓取
从一组随机选择的 RSS 源中挑选出的最新帖子被索引的可能性有多大？
此处的抽样略有不同。我们没有使用上面的随机化方法，而是从一百万多 塞浦路斯手机号码数据 个已知 RSS 源中随机选择，以查找其最新帖子，并检查它们是否已包含在 Moz 和竞争对手的各种索引中。虽然此图中有一些错误，但我认为只有一个明显的结论。Ahrefs 对其爬虫的判断是正确的。它们速度很快，而且无处不在。虽然 Moz 迅速大幅增加了我们的覆盖范围，但它几乎没有对 FastCrawl 指标造成影响。
现在你可能会问，如果 Ahrefs 的抓取速度如此之快，Moz 如何迎头赶上？嗯，有几个答案，但可能最大的问题是新 URL 仅代表网络的一小部分。大多数 URL 都不是新的。假设两个索引（一个新的，一个旧的）有一堆他们正在考虑抓取的 URL。两者都可能优先考虑他们从未见过的重要域上的 URL。对于较大、较旧的索引，该组的比例较小，因为它们已经快速抓取了很长时间。因此，在一天中，旧索引的抓取中将有更高比例专门用于重新抓取它已经知道的页面。新索引可以将更多的抓取潜力专用于新 URL。
然而，这确实给 Moz 带来了压力，要求其改进抓取基础设施，因为我们在某些规模指标上赶上并超越了 Ahrefs。截至本文发布时，Ahrefs 正在 FastCrawl 指标上领先。