Kısa yanıt
LLMWebSearch botu nedir ve nasıl engellerim?
LLMWebSearch sayfa okuyucusu, bir müşterinin web arama sonuçlarında görünen genel sayfaları getirir, böylece bir AI ajanı bunları okuyabilir. LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/) User-Agent'ını gönderir ve LLMWebSearch veya tüm robotlar için robots.txt kurallarına uyar. robots.txt'deki iki satır onu engeller. Arama başına en fazla 10 sayfa okur ve bir reddin etrafından asla dolanmaz.
Bir bakışta sayfa okuyucusu
| User-Agent header'ı | LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/) |
|---|---|
| robots.txt token'ı | LLMWebSearch |
| Ne zaman ziyaret eder | Yalnızca sayfanız bir müşterinin okumasını istediği sonuçlar arasında olduğunda veya bir müşteri URL'nizi adlandırdığında |
| Arama başına sayfa | En fazla 10, genellikle 3 |
| robots.txt | Herhangi bir sayfadan önce okunur; kurallar en fazla 24 saat önbelleğe alınır |
| Content-Signal | ai-input=no içeriğinizi yanıtlardan uzak tutar |
| Redler | Kesin kabul edilir: başka bir adla yeniden deneme yok, CAPTCHA çözme yok, oturum açma yok |
| İletişim | [email protected] |
Sitemi neden ziyaret ediyor?
Çünkü bir müşterinin aramasında sayfalarınızdan biri üst sıralarda çıktı ve ajanı ilk sonuçların metnini istedi. Daha az sıklıkla, bir müşteri bağlantıya zaten sahip olduğu için URL'nizi /extract endpoint'ine gönderdi.
Okuyucu tarama (crawl) yapmaz. Bağlantılarınızı takip etmez, sitemap'inizde gezmez ve dizin oluşturmaz. Her ziyaret tek bir sayfadır ve bir kişi ya da ajan o anda okumak istediği için istenir.
Tamamen nasıl engellerim?
robots.txt dosyanıza token'ı için bir grup ekleyin. Kural, dosyayı bir sonraki okumamızda, 24 saat içinde yürürlüğe girer. Okuyamayacağı sayfalar yine de arama sonuçlarında başlıkları, URL'leri ve snippet'leriyle görünür, ancak içerikleri olmadan.
User-agent: LLMWebSearch
Disallow: /
Yalnızca bazı bölümleri engelleyebilir miyim?
Evet. Dışarıda tutmak istediğiniz yolları listeleyin; geri kalan her şey okunabilir kalır. Okuyucu, çoğu uslu robot gibi, varsa LLMWebSearch için yazılmış grubu, yoksa * grubunu seçer.
User-agent: LLMWebSearch
Disallow: /account/
Disallow: /checkout/
Allow: /
Aramaya izin verip AI kullanımını reddedebilir miyim?
Evet, bir Content Signal ile. robots.txt dosyasında Content-Signal: ai-input=no ayarlayan bir site, sayfalarını sonuçlarınızın içeriğinden uzak tutar. Sayfalarınız yine de sonuç olarak listelenebilir, böylece insanlar onları bulur; ancak metinleri API'miz üzerinden bir AI ajanına verilmez.
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
Okuyucu asla ne yapmaz?
Bir site okuyucumuzu geri çevirdiğinde sonuç, içerik olmadan ve sitenin durumuyla döner: CAPTCHA'ları asla çözmeyiz, hesaplara giriş yapmayız veya bir engeli ya da ödeme duvarını aşmaya çalışmayız. Ayrıca kendini normal bir tarayıcı olarak tanıtmaz, bir ret yanıtından sonra başka bir user agent'a geçmez ve çerez ya da kimlik bilgisi göndermez.
Bazı sayfalar metinlerini ancak JavaScript çalıştıktan sonra gösterir. Bu durumlarda okuyucu, yine aynı user agent ve aynı robots.txt kuralları altında, sayfayı headless tarayıcıda yükleyebilir. Bir 403, bir 429 ya da bir challenge sayfası denemeyi bitirir; müşteri içeriğinizi değil, sizin yanıtınızı alır.
İsteklerini nasıl tanıyabilirim?
Bu sayfaya bağlantı veren LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/) user agent'ından. Bugün bir IP adresi listesi yayımlamıyoruz. Bir istek kendini okuyucumuz olarak tanıtıp bu sayfada anlatılandan farklı davranıyorsa bize bildirin: adımızı kullanan başka biri olabilir.
Okuduğu içeriğe ne oluyor?
Tek bir müşterinin API yanıtına girer, başka hiçbir yere girmez. Sayfanızın bir kopyasını tutmuyoruz, arşivini oluşturmuyoruz ve üzerinde herhangi bir model eğitmiyoruz. Loglarımız müşterinin sorgu alıntısını ve okunan sayfa sayısını kaydeder, sayfanızın metnini değil. Gizlilik politikası logları ayrıntılı olarak açıklar.
Site sahiplerinden sorular
Bir robots.txt değişikliği ne kadar hızlı uygulanır?
24 saat içinde. Okuyucu robots.txt dosyanızın bir kopyasını en fazla bir gün tutar, sonra bir sonraki sayfadan önce yeniden okur.
Okuyucuyu engellemek sayfalarımı arama sonuçlarından kaldırır mı?
Hayır. Sonuçlar bizim kontrol etmediğimiz canlı bir web aramasından gelir. Okuyucuyu engellemek, müşterilerimizin sayfanın metnini değil, başlığınızı, URL'nizi ve snippet'inizi görmesi anlamına gelir.
Crawl-delay'e uyuyor mu?
Okuyucu tarama (crawl) yapmaz, bu yüzden bir siteye nadiren birkaç istekten fazlasını gönderir. Ziyaretleri sunucunuzu yük altında bırakırsa [email protected] adresine yazın, alan adınız için onları yavaşlatalım.
Giriş ya da abonelik gerektiren sayfaları okuyor mu?
Hayır. Hiçbir kimlik bilgisi ve çerez göndermez; müşterilerin bu tür sayfaları istemesi kabul edilebilir kullanım politikası ile yasaklanmıştır.
Okuyucu hakkında kiminle iletişime geçmeliyim?
[email protected]. URL'yi, isteğin zamanını ve gerekiyorsa robots.txt satırlarınızı ekleyin. Her mesajı bir kişi okur.