Kurze Antwort
Was ist der LLMWebSearch-Bot und wie blockiere ich ihn?
Der LLMWebSearch Seitenleser ruft öffentliche Seiten ab, die in den Websuchergebnissen eines Kunden erscheinen, damit ein KI-Agent sie lesen kann. Er sendet den User-Agent LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/) und befolgt die robots.txt-Regeln für LLMWebSearch oder für alle Robots. Zwei Zeilen in robots.txt blockieren ihn. Er liest höchstens 10 Seiten pro Suchanfrage und umgeht niemals eine Ablehnung.
Der Page Reader auf einen Blick
| User-Agent-Header | LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/) |
|---|---|
| robots.txt-Token | LLMWebSearch |
| Wann er zu Besuch kommt | Nur wenn Ihre Seite unter den Ergebnissen ist, die ein Kunde lesen lassen möchte, oder ein Kunde Ihre URL nennt |
| Seiten pro Suchanfrage | Bis zu 10, meist 3 |
| robots.txt | Vor jeder Seite gelesen; Regeln höchstens 24 Stunden lang gecacht |
| Content-Signal | ai-input=no hält Ihre Inhalte aus Antworten heraus |
| Ablehnungen | Werden als endgültig akzeptiert: kein erneuter Versuch unter anderem Namen, keine CAPTCHA-Lösung, keine Anmeldung |
| Kontakt | [email protected] |
Warum besucht er meine Website?
Weil eine Suchanfrage eines Kunden eine Ihrer Seiten weit oben zurückgegeben hat und dessen Agent den Text der ersten Ergebnisse angefordert hat. Seltener hat ein Kunde Ihre URL an unseren /extract-Endpoint geschickt, weil er den Link bereits hatte.
Der Reader crawlt nicht. Er folgt Ihren Links nicht, geht Ihre Sitemap nicht durch und baut keinen Index auf. Jeder Besuch betrifft eine Seite, die angefordert wurde, weil eine Person oder ein Agent sie in diesem Moment lesen wollte.
Wie blockiere ich ihn vollständig?
Fügen Sie eine Gruppe für sein Token in Ihre robots.txt ein. Die Regel greift beim nächsten Lesen der Datei durch uns, innerhalb von 24 Stunden. Seiten, die er nicht lesen darf, erscheinen weiterhin in den Suchergebnissen mit Titel, URL und Snippet, aber ohne ihren Inhalt.
User-agent: LLMWebSearch
Disallow: /
Kann ich nur einzelne Bereiche blockieren?
Ja. Listen Sie die Pfade auf, die ausgeschlossen bleiben sollen; alles andere bleibt lesbar. Der Reader wählt die Gruppe, die für LLMWebSearch geschrieben wurde, falls es eine gibt, andernfalls die Gruppe für * – wie die meisten wohlerzogenen Robots.
User-agent: LLMWebSearch
Disallow: /account/
Disallow: /checkout/
Allow: /
Kann ich die Suche erlauben, aber die Nutzung durch KI ablehnen?
Ja, mit einem Content Signal. Eine Website, die in ihrer robots.txt Content-Signal: ai-input=no setzt, hält ihre Seiten aus dem Inhalt Ihrer Ergebnisse heraus. Ihre Seiten können weiterhin als Ergebnisse gelistet werden, sodass Menschen sie finden, aber ihr Text wird über unsere API nicht an einen KI-Agenten übergeben.
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
Was macht der Reader niemals?
Wenn eine Website unseren Reader abweist, kommt das Ergebnis ohne Inhalt und mit dem Status der Website zurück: Wir lösen niemals CAPTCHAs, melden uns nicht in Konten an und umgehen weder eine Sperre noch eine Paywall. Er gibt sich auch nicht als normaler Browser aus, wechselt nach einer Ablehnung nicht zu einem anderen User-Agent und sendet keine Cookies oder Zugangsdaten.
Manche Seiten zeigen ihren Text erst, nachdem JavaScript ausgeführt wurde. Für diese kann der Reader die Seite in einem Headless-Browser laden, weiterhin unter demselben User-Agent und denselben robots.txt-Regeln. Ein 403, ein 429 oder eine Challenge-Seite beendet den Versuch; der Kunde erhält Ihre Antwort, nicht Ihren Inhalt.
Wie erkenne ich seine Anfragen?
Am User-Agent LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/), der auf diese Seite verlinkt. Wir veröffentlichen derzeit keine Liste von IP-Adressen. Wenn eine Anfrage vorgibt, unser Reader zu sein, sich aber anders verhält als auf dieser Seite beschrieben, sagen Sie uns Bescheid: Vielleicht nutzt jemand anderes unseren Namen.
Was passiert mit dem Inhalt, den er liest?
Er landet in der API-Antwort eines Kunden und nirgendwo sonst. Wir behalten keine Kopie Ihrer Seite, legen kein Archiv davon an und trainieren kein Modell damit. Unsere Logs erfassen den Auszug der Kundenanfrage und die Anzahl gelesener Seiten, nicht den Text Ihrer Seite. Die Datenschutzerklärung beschreibt die Logs vollständig.
Fragen von Website-Betreibern
Wie schnell greift eine Änderung der robots.txt?
Innerhalb von 24 Stunden. Der Reader behält höchstens einen Tag lang eine Kopie Ihrer robots.txt und liest sie dann vor der nächsten Seite erneut.
Entfernt das Blockieren des Readers meine Seiten aus den Suchergebnissen?
Nein. Die Ergebnisse stammen aus einer Live-Websuche, die wir nicht kontrollieren. Blockieren des Readers bedeutet, dass unsere Kunden Ihren Titel, Ihre URL und Ihr Snippet sehen, aber nicht den Text der Seite.
Wird Crawl-delay beachtet?
Der Reader crawlt nicht und sendet daher selten mehr als ein paar Anfragen an eine Website. Sollten seine Besuche jemals Ihren Server belasten, schreiben Sie an [email protected] und wir werden sie für Ihre Domain drosseln.
Liest er Seiten, die eine Anmeldung oder ein Abonnement erfordern?
Nein. Er sendet keine Zugangsdaten und keine Cookies, und Kunden ist es laut Nutzungsrichtlinie untersagt, solche Seiten anzufordern.
An wen wende ich mich wegen des Readers?
[email protected]. Nennen Sie die URL, den Zeitpunkt der Anfrage und gegebenenfalls die betreffenden Zeilen Ihrer robots.txt. Jede Nachricht wird von einer Person gelesen.