Szybka odpowiedź
Czym jest bot LLMWebSearch i jak go zablokować?
Czytnik stron LLMWebSearch pobiera publiczne strony, które pojawiają się w wynikach wyszukiwania klienta, aby agent AI mógł je przeczytać. Wysyła user agent LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/) i przestrzega reguł robots.txt dla LLMWebSearch lub dla wszystkich robotów. Dwie linie w robots.txt blokują go. Odczytuje najwyżej 10 stron na wyszukiwanie i nigdy nie obchodzi odmowy.
Czytnik stron w skrócie
| Nagłówek User-Agent | LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/) |
|---|---|
| Token robots.txt | LLMWebSearch |
| Kiedy odwiedza | Tylko gdy Twoja strona jest wśród wyników, które klient poprosił o przeczytanie, lub gdy klient wskaże Twój URL |
| Strony na wyszukiwanie | Do 10, zwykle 3 |
| robots.txt | Odczyt przed każdą stroną; reguły buforowane najwyżej 24 godziny |
| Content-Signal | ai-input=no trzyma Twoje treści poza odpowiedziami |
| Odmowy | Przyjmowane jako ostateczne: bez ponawiania pod inną nazwą, bez rozwiązywania CAPTCHA, bez logowania |
| Kontakt | [email protected] |
Dlaczego czytnik odwiedza moją stronę?
Ponieważ wyszukiwanie klienta zwróciło jedną z Twoich stron blisko szczytu wyników, a jego agent poprosił o tekst pierwszych wyników. Rzadziej zdarza się, że klient przesłał Twój URL do naszego endpointu /extract, bo miał już ten link.
Czytnik nie wykonuje crawlingu. Nie podąża za Twoimi linkami, nie przechodzi mapy witryny ani nie buduje indeksu. Każda wizyta to jedna strona, pobrana, bo ktoś chciał ją przeczytać w danej chwili.
Jak całkowicie go zablokować?
Dodaj do swojego robots.txt grupę dla jego tokenu. Reguła zacznie obowiązywać przy naszym następnym odczycie pliku, w ciągu 24 godzin. Strony, których czytnik nie może czytać, nadal pojawiają się w wynikach wyszukiwania z tytułem, URL i snippetem, ale bez treści.
User-agent: LLMWebSearch
Disallow: /
Czy mogę zablokować tylko wybrane sekcje?
Tak. Wypisz ścieżki, które chcesz wykluczyć; reszta pozostaje czytelna. Czytnik wybiera grupę napisaną dla LLMWebSearch, jeśli taka istnieje, a w przeciwnym razie grupę *, jak większość grzecznych robotów.
User-agent: LLMWebSearch
Disallow: /account/
Disallow: /checkout/
Allow: /
Czy mogę zezwolić na wyszukiwanie, ale odmówić użycia przez AI?
Tak, za pomocą Content Signal. Witryna, która ustawia Content-Signal: ai-input=no w swoim robots.txt, trzyma treść swoich stron poza treścią Twoich wyników. Twoje strony nadal mogą być wyświetlane jako wyniki, więc ludzie je znajdą, ale ich tekst nie trafia do agenta AI przez nasze API.
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
Czego czytnik nigdy nie robi?
Gdy witryna odrzuca nasz czytnik, wynik wraca bez treści i ze statusem witryny: nigdy nie rozwiązujemy CAPTCHA, nie logujemy się na konta ani nie obchodzimy blokady czy paywalla. Nie podszywa się też pod zwykłą przeglądarkę, nie zmienia User-Agenta po odmowie i nie wysyła cookies ani danych uwierzytelniających.
Niektóre strony pokazują tekst dopiero po wykonaniu JavaScriptu. W takich przypadkach czytnik może wczytać stronę w przeglądarce headless, nadal z tym samym User-Agentem i tymi samymi regułami robots.txt. Odpowiedź 403, 429 lub strona z wyzwaniem kończy próbę; klient otrzymuje Twoją odpowiedź, a nie Twoją treść.
Jak rozpoznać jego zapytania?
Po User-Agencie LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/), który prowadzi z powrotem do tej strony. Obecnie nie publikujemy listy adresów IP. Jeśli jakieś zapytanie podaje się za nasz czytnik i zachowuje się inaczej niż opisuje to ta strona, powiedz nam: to może być ktoś inny używający naszej nazwy.
Co dzieje się z treścią, którą czyta?
Trafia do odpowiedzi API jednego klienta i nigdzie indziej. Nie przechowujemy kopii Twojej strony, nie budujemy jej archiwum ani nie trenujemy na niej żadnego modelu. Nasze logi zapisują fragment zapytania klienta i liczbę przeczytanych stron, a nie tekst Twojej strony. Polityka prywatności opisuje logi w pełni.
Pytania od właścicieli stron
Jak szybko zmiana w robots.txt zaczyna obowiązywać?
W ciągu 24 godzin. Czytnik trzyma kopię Twojego robots.txt najwyżej dobę, a potem odczytuje go ponownie przed kolejną stroną.
Czy zablokowanie czytnika usunie moje strony z wyników wyszukiwania?
Nie. Wyniki pochodzą z wyszukiwania na żywo w sieci, którego nie kontrolujemy. Zablokowanie czytnika oznacza, że nasi klienci widzą Twój tytuł, URL i snippet, ale nie tekst strony.
Czy respektuje Crawl-delay?
Czytnik nie wykonuje crawlingu, więc rzadko wysyła do jednej witryny więcej niż kilka zapytań. Jeśli jego wizyty kiedykolwiek obciążą Twój serwer, napisz na [email protected], a spowolnimy je dla Twojej domeny.
Czy czyta strony wymagające logowania lub subskrypcji?
Nie. Nie wysyła danych uwierzytelniających ani cookies, a klientom zabrania proszenia o takie strony polityka dopuszczalnego użytkowania.
Z kim się skontaktować w sprawie czytnika?
[email protected]. Podaj URL, czas zapytania i, jeśli to istotne, linie swojego robots.txt. Każdą wiadomość czyta człowiek.