LLMWebSearch 网页阅读器

为什么它会访问我的网站？

因为某位客户的搜索把您的某个页面排在靠前的位置，而他们的 agent 要求读取前几条结果的正文。较少见的情况是，某位客户已经把链接发给了我们的 /extract endpoint，因为对方手上已有这个 URL。

reader 不会抓取。它不会顺着您的链接爬取，不会遍历您的 sitemap，也不会建立索引。每次访问只读取一个页面，是因为某个人或某个 agent 当时想读它。

如何彻底屏蔽它？

在您的 robots.txt 中为它的 token 添加一个分组。该规则会在我们下次读取该文件时生效，最迟 24 小时内。它不被允许读取的页面仍会出现在搜索结果中，显示标题、URL 和摘要，但不显示内容。

可以只屏蔽部分栏目吗？

可以。列出您想排除的路径，其余内容仍可读取。reader 会优先选择专为 LLMWebSearch 写的那一组规则（如果有），否则选择 * 这一组，与大多数守规矩的机器人一样。

可以允许搜索但拒绝 AI 使用吗？

可以，用 Content Signal。在 robots.txt 中设置 Content-Signal: ai-input=no 的网站，其页面内容不会出现在你的结果中。您的页面仍可作为结果被列出，让人们找到它们，但正文不会通过我们的 API 交给 AI agent。

reader 从不做什么？

当网站拒绝我们的读取器时，结果会不带内容返回，并附上该网站的状态：我们绝不破解 CAPTCHA、不登录账户，也不绕过封锁或付费墙。它也不会冒充普通浏览器，不会在被拒绝后切换成其他 user agent，也不会发送 cookie 或凭据。

有些页面只有在 JavaScript 运行后才显示正文。对于这类页面，reader 可以在无头浏览器中加载它们，但仍使用同一个 user agent，并遵守同样的 robots.txt 规则。遇到 403、429 或验证挑战页面，尝试即告结束；客户收到的是您的应答，而不是您的内容。

如何识别它的请求？

通过 user agent LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/)，该字符串会链接回本页面。我们目前不公布 IP 地址列表。如果某个请求自称是我们的 reader，但行为与本页面描述的不一致，请告诉我们：那可能是别人冒用我们的名义。

它读取的内容会怎样处理？

内容只会进入某位客户的 API 响应，不会流向别处。我们不会保留您页面的副本，不会为其建立存档，也不会用它训练任何模型。我们的日志只记录客户查询的片段和读取的页面数量，不记录您页面的正文。隐私政策完整说明了日志的记录方式。