Resposta rápida
O que é o bot do LLMWebSearch e como bloqueá-lo?
O leitor de páginas LLMWebSearch busca páginas públicas que aparecem nos resultados de pesquisa na web de um cliente, para que um agente de IA possa lê-las. Ele envia o user agent LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/) e obedece às regras do robots.txt para LLMWebSearch ou para todos os robôs. Duas linhas no robots.txt o bloqueiam. Ele lê no máximo 10 páginas por pesquisa e nunca contorna uma recusa.
O leitor de páginas em resumo
| Cabeçalho User-Agent | LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/) |
|---|---|
| Token no robots.txt | LLMWebSearch |
| Quando ele visita | Apenas quando sua página está entre os resultados que um cliente pediu para ler, ou quando um cliente cita sua URL |
| Páginas por pesquisa | Até 10, normalmente 3 |
| robots.txt | Lido antes de qualquer página; regras armazenadas em cache por no máximo 24 horas |
| Content-Signal | ai-input=no mantém seu conteúdo fora das respostas |
| Recusas | Aceitas como definitivas: sem nova tentativa sob outro nome, sem resolução de CAPTCHA, sem login |
| Contato | [email protected] |
Por que ele está visitando meu site?
Porque a pesquisa de um cliente retornou uma das suas páginas entre os primeiros resultados, e o agente dele pediu o texto dos primeiros resultados. Com menos frequência, um cliente enviou sua URL para o nosso endpoint /extract porque já tinha o link.
O leitor não faz rastreamento (crawl). Ele não segue seus links, não percorre seu sitemap nem cria um índice. Cada visita é uma página, solicitada porque uma pessoa ou um agente quis lê-la naquele momento.
Como faço para bloqueá-lo completamente?
Adicione um grupo para o token dele ao seu robots.txt. A regra entra em vigor na nossa próxima leitura do arquivo, em até 24 horas. As páginas que ele não pode ler ainda aparecem nos resultados de pesquisa com título, URL e snippet, mas sem o conteúdo.
User-agent: LLMWebSearch
Disallow: /
Posso bloquear apenas algumas seções?
Sim. Liste os caminhos que você quer manter de fora; todo o resto continua legível. O leitor escolhe o grupo escrito para LLMWebSearch se houver um, e o grupo * caso contrário, como a maioria dos robôs bem comportados.
User-agent: LLMWebSearch
Disallow: /account/
Disallow: /checkout/
Allow: /
Posso permitir a pesquisa mas recusar o uso por IA?
Sim, com um Content Signal. Um site que define Content-Signal: ai-input=no no seu robots.txt mantém as suas páginas fora do conteúdo dos seus resultados. Suas páginas ainda podem ser listadas como resultados, para que as pessoas as encontrem, mas o texto delas não é entregue a um agente de IA pela nossa API.
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
O que o leitor nunca faz?
Quando um site recusa o nosso leitor, o resultado volta sem conteúdo e com o status do site: nunca resolvemos CAPTCHAs, não entramos em contas nem contornamos um bloqueio ou um paywall. Ele também não finge ser um navegador comum, não troca para outro user agent após uma recusa e não envia cookies nem credenciais.
Algumas páginas só mostram o texto depois que o JavaScript roda. Para essas, o leitor pode carregar a página em um navegador headless, ainda com o mesmo user agent e as mesmas regras do robots.txt. Um 403, um 429 ou uma página de desafio encerram a tentativa; o cliente recebe a sua resposta, não o seu conteúdo.
Como posso reconhecer as requisições dele?
Pelo user agent LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/), que aponta de volta para esta página. Não publicamos uma lista de IPs hoje. Se uma requisição alegar ser o nosso leitor e se comportar de forma diferente do que esta página descreve, avise-nos: pode ser outra pessoa usando o nosso nome.
O que acontece com o conteúdo que ele lê?
Ele vai para a resposta de API de um único cliente e para nenhum outro lugar. Não guardamos cópia da sua página, não criamos arquivo dela e não treinamos nenhum modelo com ela. Nossos logs registram o trecho da consulta do cliente e o número de páginas lidas, não o texto da sua página. A política de privacidade descreve os logs por completo.
Perguntas de donos de sites
Em quanto tempo uma alteração no robots.txt passa a valer?
Em até 24 horas. O leitor mantém uma cópia do seu robots.txt por no máximo um dia e depois lê o arquivo de novo antes da próxima página.
Bloquear o leitor vai remover minhas páginas dos resultados de pesquisa?
Não. Os resultados vêm de uma pesquisa na web ao vivo que não controlamos. Bloquear o leitor significa que nossos clientes veem seu título, URL e snippet, mas não o texto da página.
Ele respeita o Crawl-delay?
O leitor não faz rastreamento (crawl), então raramente envia mais que algumas requisições a um mesmo site. Se as visitas dele chegarem a pesar no seu servidor, escreva para [email protected] e vamos reduzi-las para o seu domínio.
Ele lê páginas que exigem login ou assinatura?
Não. Ele não envia credenciais nem cookies, e os clientes são proibidos de pedir tais páginas pela política de uso aceitável.
Com quem falo sobre o leitor?
[email protected]. Inclua a URL, o horário da requisição e, se for o caso, as linhas do seu robots.txt. Uma pessoa lê cada mensagem.