Snel antwoord
Wat is de LLMWebSearch-bot en hoe blokkeer ik die?
De pagina-lezer LLMWebSearch haalt openbare pagina's op die in de zoekresultaten van een klant staan, zodat een AI-agent ze kan lezen. Hij stuurt de user agent LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/) en volgt robots.txt-regels voor LLMWebSearch of voor alle robots. Twee regels in robots.txt blokkeren hem. Hij leest maximaal 10 pagina's per zoekopdracht en werkt nooit om een weigering heen.
De pagina-lezer in één oogopslag
| User-Agent-header | LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/) |
|---|---|
| robots.txt-token | LLMWebSearch |
| Wanneer die langskomt | Alleen wanneer jouw pagina tussen de resultaten staat die een klant heeft gevraagd te lezen, of wanneer een klant je URL noemt |
| Pagina's per zoekopdracht | Tot 10, meestal 3 |
| robots.txt | Gelezen vóór elke pagina; regels maximaal 24 uur gecacht |
| Content-Signal | ai-input=no houdt je content buiten antwoorden |
| Weigeringen | Als definitief geaccepteerd: geen nieuwe poging onder een andere naam, geen CAPTCHA-oplossing, geen aanmelding |
| Contact | [email protected] |
Waarom bezoekt het mijn site?
Omdat een zoekopdracht van een klant een van je pagina's bovenaan de resultaten opleverde, en hun agent om de tekst van de eerste resultaten vroeg. Minder vaak stuurde een klant je URL naar ons /extract endpoint omdat die de link al had.
De reader crawlt niet. Hij volgt je links niet, loopt je sitemap niet door en bouwt geen index op. Elk bezoek is één pagina, opgevraagd omdat een persoon of een agent die op dat moment wilde lezen.
Hoe blokkeer ik het volledig?
Voeg een groep voor zijn token toe aan je robots.txt. De regel geldt vanaf onze volgende keer dat we het bestand lezen, binnen 24 uur. Pagina's die hij niet mag lezen, verschijnen nog steeds in zoekresultaten met hun titel, URL en snippet, maar zonder hun inhoud.
User-agent: LLMWebSearch
Disallow: /
Kan ik alleen bepaalde secties blokkeren?
Ja. Noem de paden die je buiten wilt houden; al het andere blijft leesbaar. De reader kiest de groep die voor LLMWebSearch is geschreven als die er is, en anders de groep voor *, zoals de meeste welgemanierde robots.
User-agent: LLMWebSearch
Disallow: /account/
Disallow: /checkout/
Allow: /
Kan ik zoeken toestaan maar AI-gebruik weigeren?
Ja, met een Content-Signal. Een site die Content-Signal: ai-input=no in zijn robots.txt zet, houdt zijn pagina's buiten de inhoud van je resultaten. Je pagina's kunnen nog steeds als resultaat worden vermeld, zodat mensen ze vinden, maar hun tekst wordt niet via onze API aan een AI-agent gegeven.
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
Wat doet de reader nooit?
Wanneer een site onze reader weert, komt het resultaat terug zonder inhoud en met de status van de site: we lossen nooit CAPTCHA's op, loggen nooit in op accounts en werken nooit om een blokkade of een paywall heen. Hij doet zich ook niet voor als een gewone browser, stapt na een weigering niet over op een andere user agent, en verstuurt geen cookies of inloggegevens.
Sommige pagina's tonen hun tekst pas nadat JavaScript is uitgevoerd. Voor die pagina's kan de reader de pagina in een headless browser laden, nog steeds onder dezelfde user agent en dezelfde robots.txt-regels. Een 403, een 429 of een challengepagina beëindigt de poging; de klant krijgt jouw antwoord, niet jouw inhoud.
Hoe herken ik zijn requests?
Aan de user agent LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/), die naar deze pagina linkt. We publiceren vandaag geen lijst met IP-adressen. Als een request zich voordoet als onze reader en zich anders gedraagt dan deze pagina beschrijft, laat het ons weten: het kan iemand anders zijn die onze naam gebruikt.
Wat gebeurt er met de inhoud die hij leest?
Die gaat in de API-response van één klant en nergens anders. We bewaren geen kopie van je pagina, bouwen er geen archief van en trainen er geen model op. Onze logs registreren een fragment van de zoekopdracht van de klant en het aantal gelezen pagina's, niet de tekst van je pagina. Het privacybeleid beschrijft de logs volledig.
Vragen van site-eigenaren
Hoe snel geldt een wijziging in robots.txt?
Binnen 24 uur. De reader bewaart je robots.txt maximaal een dag, en leest het opnieuw voordat hij de volgende pagina leest.
Verwijdert het blokkeren van de reader mijn pagina's uit zoekresultaten?
Nee. Resultaten komen uit een live web search die wij niet beheren. De reader blokkeren betekent dat onze klanten je titel, URL en snippet zien, maar niet de tekst van de pagina.
Respecteert hij Crawl-delay?
De reader crawlt niet, dus hij stuurt zelden meer dan een paar requests naar één site. Als zijn bezoeken ooit je server belasten, schrijf naar [email protected] en we vertragen ze voor je domein.
Leest hij pagina's waarvoor een login of abonnement nodig is?
Nee. Hij verstuurt geen inloggegevens en geen cookies, en klanten mogen zulke pagina's niet opvragen volgens het beleid voor acceptabel gebruik.
Met wie neem ik contact op over de reader?
[email protected]. Vermeld de URL, het tijdstip van het request en, indien relevant, de regels van je robots.txt. Een persoon leest elk bericht.