13. URL 包含下划线
搜索引擎可能会误解下划线并错 购买巴拉圭电邮地址 误地记录您网站的索引。仅使用连字符。
其他常见的链接错误包括：
损坏的内部链接
损坏的外部链接
外部链接中的 Nofollow 属性
仅包含内部链接的页面
扫描深度大于 3 次点击的页面
为爬虫制造困难
可抓取性问题
可爬行性和可索引性是网站健康状况的基本指标之一。
当谈到网站的可抓取性时，SERP 排名就岌岌可危了。
如果您从技术 SEO 角度忽略任何抓取问题，则您网站上的某些页面可能不会像应有的那样对 Google 可见。
但是，如果您解决了抓取问题，Google 将更有可能在 SERP 中为正确的用户识别正确的链接。
您可以通过检测网站上限制其抓取能力的损坏或被阻止的元素来避免技术问题。
G2dotcom的 SEO 和内容副总裁Kevin Indig在此强调了站点地图和机器人之间协同作用的重要性：
这项研究让我感到惊讶的是，robots.txt 文件中没有引用许多 XML 站点地图。这似乎是一个标准。不足为奇的是，大量网站只有一个页面甚至孤立页面的内部链接。这是一个只有 SEO 人才知道的经典网站架构问题。
例如，robots.txt 文件中缺少sitemap.xml文件可能会导致搜索引擎抓取工具误解您网站的结构，正如Rise at Seven 的 SEO 和 CRO 经理Matt Jones所说：
由于 文件可以帮助搜索引擎爬虫识别和查找您网站上的 URL（从而抓取它们），因此拥有 sitemap.xml 绝对是帮助搜索引擎更深入地了解您的网站并获得更高排名的绝佳方式了解更多相关术语。
网络爬虫最常遇到的问题：
14. 传出内部链接中的 Nofollow 属性
包含 nofollow 属性的内部链接会阻止链接流经您的网站。
要了解更多信息，请阅读文章： 什么是 Link Juice 以及如何针对 SEO 优化它。
如果 robots.txt 文件中没有指向 sitemap.xml 的链接，搜索引擎将无法完全理解您网站的结构。