检查网站的健康状况
Posted: Sat Mar 22, 2025 5:08 am
Robots.txt
包含站点访问或限制指令，旨在用于搜索引擎机器人（但不仅限于此）。谷歌通常建议不要阻止任何资源，除非绝对必要且非常具体（例如：仍在开发中的部分）。如何访问它？通过输入文件是否阻止爬虫访问特定的 URL，我使用了 Search Console 中的测试器工具。
阅读文章： 编写 Robots.txt 文件的快速指南。
Robots txt 检查
404 错误
通常，当用户请求不存在的页面时，相应的服务器会返回404（未 台北手機號碼 找到）错误。当搜索机器人到达这样的页面时，一个单位的抓取预算就被浪费了。这就是为什么查找并修复网站上所有断开的链接如此重要。如何检查扫描错误？如果您有权限，则可以使用搜索控制台（抓取>抓取错误部分）或可信赖的 Screaming Frog。无论如何，我的建议是始终创建一个自定义的 404 页面，代替标准页面，并为用户提供更具吸引力和更有成效的信息。
使用网站审核工具
HTTP 和 HTTPS
谷歌宣布，从 2018 年 7 月开始，其 Chrome 浏览器将把任何没有 SSL 证书的页面标记为“不安全”，无论其内容如何。目的是使 HTTPS 成为网页浏览的新标准。并非所有网站都已适应此标准，或者许多网站尚未正确执行迁移，在后一种情况下，必须及时进行 301 重定向干预，以避免内容重复的问题。
包含站点访问或限制指令，旨在用于搜索引擎机器人（但不仅限于此）。谷歌通常建议不要阻止任何资源，除非绝对必要且非常具体（例如：仍在开发中的部分）。如何访问它？通过输入文件是否阻止爬虫访问特定的 URL，我使用了 Search Console 中的测试器工具。
阅读文章： 编写 Robots.txt 文件的快速指南。
Robots txt 检查
404 错误
通常，当用户请求不存在的页面时，相应的服务器会返回404（未 台北手機號碼 找到）错误。当搜索机器人到达这样的页面时，一个单位的抓取预算就被浪费了。这就是为什么查找并修复网站上所有断开的链接如此重要。如何检查扫描错误？如果您有权限，则可以使用搜索控制台（抓取>抓取错误部分）或可信赖的 Screaming Frog。无论如何，我的建议是始终创建一个自定义的 404 页面，代替标准页面，并为用户提供更具吸引力和更有成效的信息。
使用网站审核工具
HTTP 和 HTTPS
谷歌宣布，从 2018 年 7 月开始，其 Chrome 浏览器将把任何没有 SSL 证书的页面标记为“不安全”，无论其内容如何。目的是使 HTTPS 成为网页浏览的新标准。并非所有网站都已适应此标准，或者许多网站尚未正确执行迁移，在后一种情况下，必须及时进行 301 重定向干预，以避免内容重复的问题。