10 分钟判断官网是不是 AI 看不见：按 3 个检查步骤做一次技术可见性体检

10 分钟判断官网是不是 AI 看不见这篇文章先交代读者为什么会提出这个问题，再按选择标准、证据来源、适用场景和常见误区展开，尽量用可核查来源支撑关键判断，帮助读者更清楚地比较方案并做出适合自己业务的决定。

把"AI 看不见我的官网"这个模糊担忧，转化成三步可执行的技术检查：查源代码、禁用 JavaScript、用 curl 模拟爬虫，10 分钟内得出有依据的结论。

引言：先把"AI 看不见"定义成一次可执行的技术访问检查

很多品牌团队发现自己的官网在 ChatGPT、Perplexity 或 Gemini 的回答里从未出现，第一反应是"内容不够好"。但在内容质量之前，有一个更基础的问题：AI 爬虫能不能物理上读到你的页面？

这篇文章不讨论内容策略，只做技术访问层面的体检。三件事，按顺序做：

1. 查看页面源代码，确认正文是否已经以纯 HTML 形式落地；
2. 禁用 JavaScript 后刷新页面，确认内容在非渲染环境下是否还在；
3. 用 curl 模拟爬虫请求，确认服务器的原始响应对抓取端是否开放。

这三步对应 AI 爬虫访问网站的真实顺序：先取原始 HTML，再决定是否执行脚本，再根据 robots 规则决定是否保留。任何一步断掉，后续的内容质量都是白费。

根据 Google 搜索中心关于 JavaScript SEO 基础的官方文档，爬虫在获取页面时分两个阶段处理 JavaScript：第一阶段只取原始 HTML，第二阶段才渲染脚本。如果你的内容依赖第二阶段才出现，AI 爬虫很可能在第一阶段就放弃了这个页面。

"Googlebot processes JavaScript and can index dynamically rendered content, but the timing and completeness of that rendering is not guaranteed." — Google Search Central, JavaScript SEO Basics

这意味着一个重要的数字判断基准：如果页面 90% 以上的正文依赖 JavaScript 渲染才出现，该页面在第一阶段抓取中几乎是空白的。这不是假设，而是 CSR（客户端渲染）架构的结构性后果。

步骤 1：查看源代码，确认正文是不是已经在 HTML 里

这是耗时最短、结论最直接的一步。

操作方法：

在任意浏览器中打开你的官网首页或核心落地页，然后用以下方式调出源代码：

• Chrome / Edge：按 Ctrl+U（Windows）或 Cmd+Option+U（Mac）；
• 也可以在地址栏前加 view-source: 前缀，例如 view-source:https://yoursite.com。

打开源代码后，用 Ctrl+F 搜索以下内容：

• 页面上最明显的正文段落（直接复制前 10 个字搜索）；
• 产品描述、核心服务说明；
• H1 标题的完整文字。

判断标准：

常见误判： 有些团队看到 <div id="app"></div> 这样的空容器，以为是正常的"加载中"状态。这恰恰是问题所在——AI 爬虫的第一阶段抓取拿到的就是这个空容器，不会等待后续的 JavaScript 填充内容。

这一步只需 2 分钟，却能立刻区分出站点是 SSR（服务端渲染）输出真实 HTML 还是 CSR（客户端渲染）依赖脚本注入内容。

步骤 2：关闭 JavaScript 后刷新，确认页面是否还能保留核心内容

源代码检查是静态快照，禁用 JS 刷新是动态验证。这一步模拟的是爬虫在不执行脚本时看到的页面状态。

操作方法（Chrome 为例）：

1. 按 F12 打开开发者工具；
2. 按 Ctrl+Shift+P（Mac 用 Cmd+Shift+P）打开命令面板；
3. 输入 Disable JavaScript 并选中该选项；
4. 关闭开发者工具面板，按 F5 刷新页面；
5. 完成检查后，重新打开开发者工具，执行 Enable JavaScript 恢复。

Firefox 用户可通过 about:config 搜索 javascript.enabled 并设为 false，完成检查后务必还原。

需要检查的内容：

• 主标题（H1）是否还在？
• 产品或服务的核心描述是否可读？
• 导航菜单是否还能显示？
• 核心 CTA 按钮文字是否可见？

判断标准：

页面禁用 JS 后若出现以下任一情况，AI 可见性风险较高：

• 页面完全空白或只剩骨架屏；
• 正文段落消失，只剩标题；
• 出现"请启用 JavaScript"类提示；
• 导航或产品列表全部消失。

"If your content is only available with JavaScript enabled, search engines that do not execute JavaScript will not be able to index your content." — Google Search Central, Introduction to robots.txt

一项针对大型语言模型信息检索行为的学术研究（arXiv:2311.09735）指出，LLM 在训练和检索阶段对结构化、可解析的纯文本有明显偏好，依赖动态渲染的页面在知识获取阶段处于显著劣势。这与 Google 文档的实践建议形成呼应：让核心内容在不依赖脚本的情况下也能被读取，是 AI 可见性的基础条件之一。

步骤 3：用 curl 模拟爬虫请求，检查服务器返回的原始内容

前两步在浏览器里完成，这一步需要打开命令行工具。curl 发出的请求绕过浏览器渲染层，直接模拟爬虫的 HTTP 请求行为。

基础命令（macOS / Linux 终端，Windows 用 PowerShell 或 WSL）：

curl -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" \
  -L -s -o response.html -w "%{http_code}" \
  https://yoursite.com

这条命令做了三件事：

• 用 -A 模拟 Googlebot 的 User-Agent；
• 用 -L 跟随重定向；
• 把响应正文存入 response.html，同时输出 HTTP 状态码。

然后检查 response.html：

grep -c "<p" response.html          # 统计段落标签数量
grep "noindex\|nofollow" response.html   # 检查是否有禁索引指令
grep "<title" response.html         # 确认 title 标签是否存在

判断标准：

关于 robots.txt 的规范，Google 搜索中心的 robots.txt 介绍文档明确说明：Disallow: / 会阻止所有爬虫访问整个站点，而针对特定爬虫的规则（如 User-agent: GPTBot）同样会阻断对应 AI 系统的访问。检查这一项不需要技术背景，直接打开 yoursite.com/robots.txt 即可阅读。

决策步骤：按技术栈先看风险，再决定修复优先级

三步检查完成后，你手里有了具体的信号。下一步是把信号转成修复顺序，而不是停在"有问题"的结论里。

技术栈风险参考表：

修复优先级逻辑：

1. 先修 robots.txt 限制——如果爬虫被明确 Disallow，其他修复都没有意义；
2. 再修 CSR 结构——纯 CSR 项目需要引入 SSR 或静态预渲染，这是工程量最大但收益最高的改动；
3. 最后补结构化数据——在 HTML 可被读取的前提下，JSON-LD、FAQ schema 等结构化标记才能发挥作用。

如果你的站点使用纯 Vue 或纯 React 构建，且三步检查全部显示高风险，建议优先联系开发团队评估以下方案之一：迁移到 Next.js 或 Nuxt.js 的 SSR/SSG 模式，或引入 prerender.io 类的预渲染服务作为过渡方案。

技术访问层面的修复只是 AI 可见性的第一关。BrandGEO 提供面向官网公开网址的六关体检与修复包生成，输入网址即可得到可部署的修复内容，包括 llms.txt、robots.txt 调整建议、JSON-LD 和 FAQ 结构化数据，并支持复检对比修复前后的 AI 提及率变化。

常见问题 FAQ

Q1：AI 爬虫和 Google 爬虫的技术访问要求一样吗？

基本原理相同，但不完全一致。Google 的 Googlebot 有两阶段渲染机制，部分 AI 系统（如 OpenAI 的 GPTBot、Anthropic 的 anthropic-ai）更接近"只取原始 HTML"的第一阶段行为，不执行或有限执行 JavaScript。因此，能通过三步检查的页面，对大多数 AI 爬虫来说技术访问风险已显著降低。

Q2：我的网站用了 SPA（单页应用），必须改架构才能解决吗？

不一定要全部改。可以先用预渲染方案（如 Prerender.io 或自建 headless Chrome 预渲染服务）为爬虫单独输出静态 HTML，不改动用户端体验。但这是中期方案，长期来看，迁移到 SSR 或 SSG 架构对 AI 可见性和整体 SEO 都更稳固。

Q3：robots.txt 里的 Disallow 会影响所有 AI 系统吗？

取决于具体规则。User-agent: * 加 Disallow: / 会阻止所有遵守 robots 协议的爬虫，包括 Googlebot、GPTBot 等主流 AI 爬虫。但 robots.txt 是君子协定，不遵守协议的爬虫不受约束。如果只想屏蔽特定 AI 爬虫（如只屏蔽 GPTBot），可以写针对性规则而不影响其他爬虫的访问。详见 Google 关于 robots.txt 的官方说明。

Q4：我做完三步检查，发现风险很低，为什么 AI 还是不提我的品牌？

技术访问只是 AI 可见性的必要条件，不是充分条件。爬虫能读到页面之后，还需要内容质量、权威性信号、引用密度、结构化数据等因素共同作用。技术访问检查通过，说明你消除了最基础的障碍，但内容层面的工作仍需单独评估。

Q5：这三步检查需要多久重复一次？

建议在以下时机重新做检查：网站进行框架升级或重大改版后；添加了新的第三方脚本或 CMS 插件后；发现 AI 工具中的品牌提及率出现明显下降时。日常状态下，每季度检查一次是合理的频率。

Q6：Next.js 和 Nuxt.js 默认就是安全的吗？

不能默认认为安全。这两个框架支持 SSR、SSG 和 CSR 三种模式，具体到每个页面的配置可能不同。例如，Next.js 中使用 getStaticProps 的页面是 SSG（安全），但使用纯客户端 fetch 的页面实际上仍是 CSR。建议对关键页面逐一做步骤 1 和步骤 2 的检查，而不是因为框架名称就跳过验证。

立即体检你的官网

如果三步检查发现了问题，或者你想获得一份覆盖技术访问、内容结构、结构化数据和 robots 配置的完整 AI 可见性报告，可以直接访问 BrandGEO，输入官网网址即可生成体检报告和可部署修复包，无需注册。

这篇内容适合谁参考？

适合正在评估「10 分钟判断官网是不是 AI 看不见」并需要看清步骤、证据和风险边界的团队。

执行前应该先确认什么？

先确认目标用户、当前可公开证据、官网可被引用的页面，以及需要优先补齐的结构化内容。

如何判断后续优化是否有效？

可以持续观察 AI 答案中的品牌提及、引用来源、页面收录、结构化数据状态和内容质量门结果。

哪些常见误区会影响结果？

不要把未经核验的结论写成事实；每个关键判断都应保留可访问来源，并在上线后复查页面是否可被抓取。

需要多久复查一次？

部署或更新后可先检查页面可访问性与结构化数据，再按固定节奏观察 AI 引用和搜索收录变化。