Respuesta rápida
¿Qué es el bot de LLMWebSearch y cómo lo bloqueo?
El lector de páginas LLMWebSearch obtiene páginas públicas que aparecen en los resultados de búsqueda web de un cliente, para que un agente de IA pueda leerlas. Envía el user agent LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/) y obedece las reglas de robots.txt para LLMWebSearch o para todos los robots. Dos líneas en robots.txt lo bloquean. Lee como máximo 10 páginas por búsqueda y nunca se salta una negativa.
El lector de páginas de un vistazo
| Cabecera User-Agent | LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/) |
|---|---|
| Token de robots.txt | LLMWebSearch |
| Cuándo visita | Solo cuando tu página está entre los resultados que un cliente pidió leer, o cuando un cliente nombra tu URL |
| Páginas por búsqueda | Hasta 10, normalmente 3 |
| robots.txt | Se lee antes de cualquier página; reglas en caché durante 24 horas como máximo |
| Content-Signal | ai-input=no mantiene tu contenido fuera de las respuestas |
| Negativas | Se aceptan como definitivas: sin reintentos con otro nombre, sin resolver CAPTCHA, sin iniciar sesión |
| Contacto | [email protected] |
¿Por qué está visitando mi sitio?
Porque la búsqueda de un cliente devolvió una de tus páginas entre los primeros resultados, y su agente pidió el texto de los primeros resultados. Con menos frecuencia, un cliente envió tu URL a nuestro endpoint /extract porque ya tenía el enlace.
El lector no hace rastreo (crawl). No sigue tus enlaces, no recorre tu sitemap ni crea un índice. Cada visita es una página, solicitada porque una persona o un agente quería leerla en ese momento.
¿Cómo lo bloqueo por completo?
Añade un grupo para su token en tu robots.txt. La regla surte efecto en nuestra siguiente lectura del archivo, en un plazo de 24 horas. Las páginas que no puede leer siguen apareciendo en los resultados de búsqueda con su título, URL y snippet, pero sin su contenido.
User-agent: LLMWebSearch
Disallow: /
¿Puedo bloquear solo algunas secciones?
Sí. Enumera las rutas que quieres excluir; todo lo demás sigue siendo legible. El lector elige el grupo escrito para LLMWebSearch si existe, y el grupo * en caso contrario, como la mayoría de los robots bien comportados.
User-agent: LLMWebSearch
Disallow: /account/
Disallow: /checkout/
Allow: /
¿Puedo permitir la búsqueda pero rechazar el uso para IA?
Sí, con un Content Signal. Un sitio que establece Content-Signal: ai-input=no en su robots.txt mantiene las páginas de su sitio fuera del contenido de tus resultados. Tus páginas pueden seguir apareciendo como resultados, para que la gente las encuentre, pero su texto no se entrega a un agente de IA a través de nuestra API.
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
¿Qué no hace nunca el lector?
Cuando un sitio rechaza a nuestro lector, el resultado vuelve sin contenido y con el estado del sitio: nunca resolvemos CAPTCHAs, iniciamos sesión en cuentas ni sorteamos un bloqueo o un paywall. Tampoco finge ser un navegador normal, no cambia a otro user agent tras un rechazo y no envía cookies ni credenciales.
Algunas páginas solo muestran su texto después de ejecutar JavaScript. Para esas, el lector puede cargar la página en un navegador headless, siempre con el mismo user agent y las mismas reglas de robots.txt. Un 403, un 429 o una página de challenge terminan el intento; el cliente recibe tu respuesta, no tu contenido.
¿Cómo puedo reconocer sus solicitudes?
Por el user agent LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/), que enlaza de vuelta a esta página. Hoy no publicamos una lista de direcciones IP. Si una solicitud dice ser nuestro lector y se comporta de forma distinta a lo que describe esta página, avísanos: puede ser alguien más usando nuestro nombre.
¿Qué pasa con el contenido que lee?
Va a la respuesta de API de un cliente y a ningún otro sitio. No guardamos copia de tu página, no creamos un archivo de ella ni entrenamos ningún modelo con ella. Nuestros logs registran un extracto de la consulta del cliente y el número de páginas leídas, no el texto de tu página. La política de privacidad describe los logs en detalle.
Preguntas de los propietarios de sitios
¿Con qué rapidez se aplica un cambio en robots.txt?
En un plazo de 24 horas. El lector guarda una copia de tu robots.txt como máximo un día y luego lo vuelve a leer antes de la siguiente página.
¿Bloquear al lector eliminará mis páginas de los resultados de búsqueda?
No. Los resultados provienen de una búsqueda web en vivo que no controlamos. Bloquear al lector significa que nuestros clientes ven tu título, URL y snippet, pero no el texto de la página.
¿Respeta Crawl-delay?
El lector no hace rastreo, así que rara vez envía más de unas pocas solicitudes a un mismo sitio. Si sus visitas llegan a pesar en tu servidor, escribe a [email protected] y las ralentizaremos para tu dominio.
¿Lee páginas que requieren inicio de sesión o suscripción?
No. No envía credenciales ni cookies, y la política de uso aceptable prohíbe a los clientes solicitar ese tipo de páginas.
¿Con quién me pongo en contacto por el lector?
[email protected]. Incluye la URL, la hora de la solicitud y, si viene al caso, las líneas de tu robots.txt. Una persona lee cada mensaje.