Réponse rapide
Qu'est-ce que le bot LLMWebSearch et comment le bloquer ?
Le lecteur de pages LLMWebSearch récupère les pages publiques qui apparaissent dans les résultats de recherche web d'un client, afin qu'un agent IA puisse les lire. Il envoie le User-Agent LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/) et obéit aux règles de robots.txt pour LLMWebSearch ou pour tous les robots. Deux lignes dans robots.txt suffisent à le bloquer. Il lit au maximum 10 pages par recherche et ne contourne jamais un refus.
Le lecteur de pages en bref
| En-tête User-Agent | LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/) |
|---|---|
| Jeton robots.txt | LLMWebSearch |
| Quand il visite | Uniquement lorsque votre page figure parmi les résultats qu'un client a demandé de lire, ou lorsqu'un client nomme votre URL |
| Pages par recherche | Jusqu'à 10, généralement 3 |
| robots.txt | Lu avant toute page ; règles mises en cache 24 heures au maximum |
| Content-Signal | ai-input=no garde votre contenu hors des réponses |
| Refus | Acceptés comme définitifs : aucune nouvelle tentative sous un autre nom, aucune résolution de CAPTCHA, aucune connexion |
| Contact | [email protected] |
Pourquoi visite-t-il mon site ?
Parce que la recherche d'un client a renvoyé l'une de vos pages parmi les premiers résultats, et que son agent a demandé le texte des premiers résultats. Plus rarement, un client a envoyé votre URL à notre endpoint /extract parce qu'il avait déjà le lien.
Le lecteur ne fait pas de crawl. Il ne suit pas vos liens, ne parcourt pas votre sitemap et ne construit pas d'index. Chaque visite concerne une seule page, demandée parce qu'une personne ou un agent a voulu la lire à ce moment-là.
Comment le bloquer complètement ?
Ajoutez un groupe pour son token dans votre robots.txt. La règle prend effet à notre prochaine lecture du fichier, sous 24 heures. Les pages qu'il n'a pas le droit de lire apparaissent toujours dans les résultats de recherche avec leur titre, leur URL et leur extrait, mais sans leur contenu.
User-agent: LLMWebSearch
Disallow: /
Puis-je bloquer seulement certaines sections ?
Oui. Listez les chemins que vous voulez exclure ; tout le reste reste lisible. Le lecteur choisit le groupe écrit pour LLMWebSearch s'il en existe un, et le groupe * sinon, comme la plupart des robots bien élevés.
User-agent: LLMWebSearch
Disallow: /account/
Disallow: /checkout/
Allow: /
Puis-je autoriser la recherche mais refuser l'usage par l'IA ?
Oui, avec un Content Signal. Un site qui définit Content-Signal: ai-input=no dans son robots.txt garde ses pages hors du contenu de vos résultats. Vos pages peuvent toujours être listées comme résultats, pour que les gens les trouvent, mais leur texte n'est pas transmis à un agent IA via notre API.
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
Que ne fait jamais le lecteur ?
Quand un site refuse notre lecteur, le résultat revient sans contenu et avec le statut du site : nous ne résolvons jamais de CAPTCHA, ne nous connectons pas à des comptes et ne contournons ni un blocage ni un paywall. Il ne se fait pas non plus passer pour un navigateur classique, ne bascule pas vers un autre user agent après un refus, et n'envoie ni cookies ni identifiants.
Certaines pages n'affichent leur texte qu'après l'exécution de JavaScript. Pour celles-là, le lecteur peut charger la page dans un navigateur headless, toujours sous le même user agent et les mêmes règles robots.txt. Un 403, un 429 ou une page de challenge met fin à la tentative ; le client reçoit votre réponse, pas votre contenu.
Comment reconnaître ses requêtes ?
Grâce au user agent LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/), qui renvoie vers cette page. Nous ne publions pas de liste d'adresses IP aujourd'hui. Si une requête prétend venir de notre lecteur et se comporte différemment de ce que décrit cette page, dites-le-nous : il peut s'agir de quelqu'un d'autre qui utilise notre nom.
Que devient le contenu qu'il lit ?
Il part dans la réponse API d'un seul client et nulle part ailleurs. Nous ne conservons aucune copie de votre page, ne construisons aucun archive et n'entraînons aucun modèle dessus. Nos logs enregistrent l'extrait de la requête du client et le nombre de pages lues, pas le texte de votre page. La politique de confidentialité décrit les logs en détail.
Questions de propriétaires de sites
Au bout de combien de temps s'applique un changement de robots.txt ?
Sous 24 heures. Le lecteur conserve une copie de votre robots.txt pendant un jour au maximum, puis le relit avant la page suivante.
Bloquer le lecteur retirera-t-il mes pages des résultats de recherche ?
Non. Les résultats proviennent d'une recherche web en direct que nous ne contrôlons pas. Bloquer le lecteur signifie que nos clients voient votre titre, votre URL et votre extrait, mais pas le texte de la page.
Respecte-t-il Crawl-delay ?
Le lecteur ne fait pas de crawl, il envoie donc rarement plus de quelques requêtes à un même site. Si ses visites pèsent sur votre serveur, écrivez à [email protected] et nous les ralentirons pour votre domaine.
Lit-il les pages qui nécessitent un login ou un abonnement ?
Non. Il n'envoie ni identifiants ni cookies, et les clients n'ont pas le droit de demander de telles pages, conformément à la politique d'utilisation acceptable.
Qui contacter à propos du lecteur ?
[email protected]. Indiquez l'URL, l'heure de la requête et, le cas échéant, les lignes de votre robots.txt. Une personne lit chaque message.