Risposta rapida
Cos'è il bot di LLMWebSearch e come lo blocco?
Il page reader LLMWebSearch recupera pagine pubbliche che compaiono nei risultati di ricerca web di un cliente, così un agente AI può leggerle. Invia lo user agent LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/) e rispetta le regole di robots.txt per LLMWebSearch o per tutti i robot. Due righe in robots.txt lo bloccano. Legge al massimo 10 pagine per ricerca e non aggira mai un rifiuto.
Il page reader in breve
| Header User-Agent | LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/) |
|---|---|
| Token robots.txt | LLMWebSearch |
| Quando visita | Solo quando la tua pagina è tra i risultati che un cliente ha chiesto di leggere, oppure quando un cliente indica il tuo URL |
| Pagine per ricerca | Fino a 10, di solito 3 |
| robots.txt | Letto prima di ogni pagina; regole in cache per 24 ore al massimo |
| Content-Signal | ai-input=no tiene il tuo contenuto fuori dalle risposte |
| Rifiuti | Accettati come definitivi: nessun nuovo tentativo con un altro nome, nessuna risoluzione di CAPTCHA, nessun accesso |
| Contatti | [email protected] |
Perché sta visitando il mio sito?
Perché la ricerca di un cliente ha restituito una delle tue pagine tra i primi risultati, e il suo agente ha chiesto il testo dei primi risultati. Più raramente, un cliente ha inviato il tuo URL al nostro endpoint /extract perché aveva già il link.
Il reader non esegue crawling. Non segue i tuoi link, non percorre la tua sitemap e non costruisce un indice. Ogni visita riguarda una sola pagina, richiesta perché una persona o un agente voleva leggerla in quel momento.
Come posso bloccarlo completamente?
Aggiungi un gruppo per il suo token nel tuo robots.txt. La regola ha effetto alla nostra successiva lettura del file, entro 24 ore. Le pagine che non può leggere compaiono comunque nei risultati di ricerca con titolo, URL e snippet, ma senza il loro contenuto.
User-agent: LLMWebSearch
Disallow: /
Posso bloccare solo alcune sezioni?
Sì. Elenca i percorsi che vuoi escludere; tutto il resto resta leggibile. Il reader sceglie il gruppo scritto per LLMWebSearch se esiste, altrimenti il gruppo *, come la maggior parte dei robot ben educati.
User-agent: LLMWebSearch
Disallow: /account/
Disallow: /checkout/
Allow: /
Posso consentire la ricerca ma rifiutare l'uso da parte dell'AI?
Sì, con un Content Signal. Un sito che imposta Content-Signal: ai-input=no nel suo robots.txt tiene le sue pagine fuori dal contenuto dei tuoi risultati. Le tue pagine possono comunque comparire come risultati, così le persone le trovano, ma il loro testo non viene passato a un agente AI tramite la nostra API.
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
Cosa non fa mai il reader?
Quando un sito respinge il nostro reader, il risultato torna senza contenuto e con lo status del sito: non risolviamo mai CAPTCHA, non accediamo agli account e non aggiriamo un blocco o un paywall. Inoltre non finge di essere un browser normale, non passa a un altro user agent dopo un rifiuto e non invia cookie o credenziali.
Alcune pagine mostrano il loro testo solo dopo l'esecuzione di JavaScript. Per queste, il reader può caricare la pagina in un browser headless, sempre con lo stesso user agent e le stesse regole del robots.txt. Un 403, un 429 o una pagina di challenge interrompono il tentativo; il cliente riceve la tua risposta, non il tuo contenuto.
Come posso riconoscere le sue richieste?
Dallo user agent LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/), che rimanda a questa pagina. Oggi non pubblichiamo un elenco di indirizzi IP. Se una richiesta dichiara di essere il nostro reader e si comporta diversamente da quanto descritto in questa pagina, scrivici: potrebbe essere qualcun altro che usa il nostro nome.
Cosa succede al contenuto che legge?
Finisce nella risposta API di un solo cliente e da nessun'altra parte. Non conserviamo alcuna copia della tua pagina, non ne costruiamo un archivio e non addestriamo alcun modello su di essa. I nostri log registrano l'estratto della query del cliente e il numero di pagine lette, non il testo della tua pagina. La privacy policy descrive i log in dettaglio.
Domande dei proprietari dei siti
Quanto rapidamente si applica una modifica al robots.txt?
Entro 24 ore. Il reader conserva una copia del tuo robots.txt per al massimo un giorno, poi lo rilegge prima della pagina successiva.
Bloccare il reader rimuoverà le mie pagine dai risultati di ricerca?
No. I risultati provengono da una ricerca web live che non controlliamo. Bloccare il reader significa che i nostri clienti vedono titolo, URL e snippet, ma non il testo della pagina.
Rispetta il Crawl-delay?
Il reader non esegue crawling, quindi raramente invia più di poche richieste a un sito. Se le sue visite dovessero mai pesare sul tuo server, scrivi a [email protected] e le rallenteremo per il tuo dominio.
Legge pagine che richiedono un login o un abbonamento?
No. Non invia credenziali né cookie, e ai clienti è vietato richiedere tali pagine dalla acceptable use policy.
Chi contatto in merito al reader?
[email protected]. Includi l'URL, l'ora della richiesta e, se pertinente, le righe del tuo robots.txt. Una persona legge ogni messaggio.