# LLMWebSearch 网页阅读器

> 致网站所有者：LLMWebSearch 网页阅读器如何表明自己的身份、何时访问、如何遵循 robots.txt 和 Content-Signal，以及如何屏蔽它。

- URL: https://llmwebsearch.com/zh/bot/
- 最后更新: 2026-10-22
- 发布者: LLMWebSearch (https://llmwebsearch.com)

我们的网页阅读器只在客户的搜索需要时打开公开页面。它会表明自己是谁，先读取 robots.txt，并接受拒绝。以下是网站所有者识别、限制或屏蔽它所需的全部信息。

**快速回答 — LLMWebSearch 机器人是什么，如何屏蔽它？**

**LLMWebSearch** 网页阅读器会抓取出现在客户网页搜索结果中的公开页面，以便 AI agent 读取。它发送 user agent `LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/)`，并遵循针对 `LLMWebSearch` 或所有机器人的 robots.txt 规则。robots.txt 中两行即可屏蔽它。每次搜索最多读取 10 个页面，且从不绕过拒绝。

## 网页阅读器一览

| 属性 | 值 |
| --- | --- |
| User-Agent 请求头 | `LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/)` |
| robots.txt token | `LLMWebSearch` |
| 访问时机 | 仅当你的页面出现在客户要求它读取的结果中，或客户明确指出你的 URL 时 |
| 每次搜索的页面数 | 最多 10 个，通常 3 个 |
| robots.txt | 在任何页面之前读取；规则缓存最长 24 小时 |
| Content-Signal | `ai-input=no` 会让你的内容不出现在响应中 |
| 拒绝 | 视为最终结果：不会换名重试，不会解决 CAPTCHA，不会登录 |
| 联系方式 | abuse@llmwebsearch.com |

## 为什么它会访问我的网站？

因为某位客户的搜索把您的某个页面排在靠前的位置，而他们的 agent 要求读取前几条结果的正文。较少见的情况是，某位客户已经把链接发给了我们的 `/extract` endpoint，因为对方手上已有这个 URL。

reader 不会抓取。它不会顺着您的链接爬取，不会遍历您的 sitemap，也不会建立索引。每次访问只读取一个页面，是因为某个人或某个 agent 当时想读它。

## 如何彻底屏蔽它？

在您的 robots.txt 中为它的 token 添加一个分组。该规则会在我们下次读取该文件时生效，最迟 24 小时内。它不被允许读取的页面仍会出现在搜索结果中，显示标题、URL 和摘要，但不显示内容。

*robots.txt：让 LLMWebSearch reader 不读取整个站点*

```text
User-agent: LLMWebSearch
Disallow: /

```

## 可以只屏蔽部分栏目吗？

可以。列出您想排除的路径，其余内容仍可读取。reader 会优先选择专为 `LLMWebSearch` 写的那一组规则（如果有），否则选择 `*` 这一组，与大多数守规矩的机器人一样。

*robots.txt：排除账户和结账页面*

```text
User-agent: LLMWebSearch
Disallow: /account/
Disallow: /checkout/
Allow: /

```

## 可以允许搜索但拒绝 AI 使用吗？

可以，用 Content Signal。在 robots.txt 中设置 Content-Signal: ai-input=no 的网站，其页面内容不会出现在你的结果中。您的页面仍可作为结果被列出，让人们找到它们，但正文不会通过我们的 API 交给 AI agent。

*robots.txt：可出现在结果中，但不向 AI 输入提供正文*

```text
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /

```

## reader 从不做什么？

当网站拒绝我们的读取器时，结果会不带内容返回，并附上该网站的状态：我们绝不破解 CAPTCHA、不登录账户，也不绕过封锁或付费墙。它也不会冒充普通浏览器，不会在被拒绝后切换成其他 user agent，也不会发送 cookie 或凭据。

有些页面只有在 JavaScript 运行后才显示正文。对于这类页面，reader 可以在无头浏览器中加载它们，但仍使用同一个 user agent，并遵守同样的 robots.txt 规则。遇到 403、429 或验证挑战页面，尝试即告结束；客户收到的是您的应答，而不是您的内容。

## 如何识别它的请求？

通过 user agent `LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/)`，该字符串会链接回本页面。我们目前不公布 IP 地址列表。如果某个请求自称是我们的 reader，但行为与本页面描述的不一致，请告诉我们：那可能是别人冒用我们的名义。

## 它读取的内容会怎样处理？

内容只会进入某位客户的 API 响应，不会流向别处。我们不会保留您页面的副本，不会为其建立存档，也不会用它训练任何模型。我们的日志只记录客户查询的片段和读取的页面数量，不记录您页面的正文。[隐私政策](https://llmwebsearch.com/zh/privacy/)完整说明了日志的记录方式。

## 站点所有者的问题

### robots.txt 的改动能多快生效？

24 小时内。reader 对您的 robots.txt 保留副本至多一天，之后在读取下一个页面前会重新读取该文件。

### 屏蔽 reader 会让我的页面从搜索结果中消失吗？

不会。搜索结果来自我们不控制的一次实时网页搜索。屏蔽 reader 意味着我们的客户能看到您的标题、URL 和摘要，但看不到页面正文。

### 它会遵守 Crawl-delay 吗？

reader 不进行抓取，因此它很少对单个站点发出超过几次的请求。如果它的访问对您的服务器造成负担，请写信至 abuse@llmwebsearch.com，我们会针对您的域名放慢访问速度。

### 它会读取需要登录或订阅的页面吗？

不会。它不发送凭据，也不发送 cookie；[可接受使用政策](https://llmwebsearch.com/zh/acceptable-use/)禁止客户请求此类页面。

### 关于 reader 我应该联系谁？

abuse@llmwebsearch.com。请附上 URL、请求时间和（如相关）您 robots.txt 中的相关行。每一条消息都由人来阅读。

---

LLMWebSearch: LLMWebSearch 是一款面向 AI 智能体的网页搜索 API，返回排序后的搜索结果，并附带热门页面的 Markdown 格式内容，采用加密货币支付，无需上传证件。预付费积分低至 US$1.20/千次搜索，永不过期。无 KYC——无需证件、无需自拍、无需提交任何文件。加密货币支付。