Jawaban singkat
Apa itu bot LLMWebSearch dan bagaimana cara memblokirnya?
Page reader LLMWebSearch mengambil halaman publik yang muncul di hasil pencarian web pelanggan, agar agen AI dapat membacanya. Ia mengirim user agent LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/) dan mematuhi aturan robots.txt untuk LLMWebSearch atau untuk semua robot. Dua baris di robots.txt memblokirnya. Ia membaca maksimal 10 halaman per pencarian, dan tidak pernah mengakali penolakan.
Page reader secara singkat
| Header User-Agent | LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/) |
|---|---|
| Token robots.txt | LLMWebSearch |
| Kapan ia berkunjung | Hanya ketika halaman Anda termasuk hasil yang diminta pelanggan untuk dibaca, atau ketika pelanggan menyebut URL Anda |
| Halaman per pencarian | Hingga 10, biasanya 3 |
| robots.txt | Dibaca sebelum halaman mana pun; aturan di-cache maksimal 24 jam |
| Content-Signal | ai-input=no menjaga konten Anda agar tidak masuk ke respons |
| Penolakan | Diterima sebagai final: tanpa percobaan ulang dengan nama lain, tanpa penyelesaian CAPTCHA, tanpa login |
| Kontak | [email protected] |
Mengapa ia mengunjungi situs saya?
Karena hasil pencarian seorang pelanggan menampilkan salah satu halaman Anda di posisi teratas, dan agen mereka meminta teks dari hasil pertama. Lebih jarang, seorang pelanggan mengirim URL Anda ke endpoint /extract kami karena mereka sudah memiliki tautannya.
Pembaca tidak melakukan crawl. Ia tidak mengikuti tautan Anda, menelusuri sitemap Anda, atau membangun indeks. Setiap kunjungan adalah satu halaman, diminta karena seseorang atau agen ingin membacanya pada saat itu.
Bagaimana cara memblokirnya sepenuhnya?
Tambahkan grup untuk token-nya ke robots.txt Anda. Aturan ini berlaku pada pembacaan file berikutnya oleh kami, dalam 24 jam. Halaman yang tidak boleh dibacanya tetap muncul di hasil pencarian dengan judul, URL, dan snippet-nya, tetapi tanpa kontennya.
User-agent: LLMWebSearch
Disallow: /
Bisakah saya memblokir hanya sebagian bagian?
Bisa. Daftarkan path yang ingin Anda kecualikan; sisanya tetap dapat dibaca. Pembaca memilih grup yang ditulis untuk LLMWebSearch jika ada, dan grup * jika tidak, seperti kebanyakan robot yang patuh.
User-agent: LLMWebSearch
Disallow: /account/
Disallow: /checkout/
Allow: /
Bisakah saya mengizinkan pencarian tetapi menolak penggunaan AI?
Bisa, dengan Content Signal. Situs yang menyetel Content-Signal: ai-input=no di robots.txt-nya menjaga halaman-halamannya agar tidak masuk ke konten hasil Anda. Halaman Anda tetap dapat tercantum sebagai hasil pencarian, sehingga orang menemukannya, tetapi teksnya tidak diserahkan ke agen AI melalui API kami.
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
Apa yang tidak pernah dilakukan pembaca?
Saat situs menolak pembaca kami, hasil kembali tanpa konten dan dengan status dari situs tersebut: kami tidak pernah memecahkan CAPTCHA, masuk ke akun, atau mengakali blokir atau paywall. Ia juga tidak menyamar sebagai browser biasa, tidak beralih ke user agent lain setelah penolakan, dan tidak mengirim cookie atau kredensial.
Sebagian halaman hanya menampilkan teksnya setelah JavaScript berjalan. Untuk halaman seperti itu, pembaca dapat memuat halaman di browser headless, tetap dengan user agent yang sama dan aturan robots.txt yang sama. Respons 403, 429, atau halaman tantangan mengakhiri upaya tersebut; pelanggan menerima jawaban Anda, bukan konten Anda.
Bagaimana cara mengenali permintaannya?
Dari user agent LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/), yang menautkan kembali ke halaman ini. Kami belum menerbitkan daftar alamat IP. Jika ada permintaan yang mengaku sebagai pembaca kami tetapi berperilaku berbeda dari yang dijelaskan halaman ini, beri tahu kami: mungkin itu pihak lain yang menggunakan nama kami.
Apa yang terjadi pada konten yang dibacanya?
Konten itu masuk ke respons API satu pelanggan dan tidak ke tempat lain. Kami tidak menyimpan salinan halaman Anda, tidak membangun arsipnya, dan tidak melatih model apa pun dengannya. Log kami mencatat kutipan kueri pelanggan dan jumlah halaman yang dibaca, bukan teks halaman Anda. Kebijakan privasi menjelaskan log tersebut secara lengkap.
Pertanyaan dari pemilik situs
Seberapa cepat perubahan robots.txt berlaku?
Dalam 24 jam. Pembaca menyimpan salinan robots.txt Anda paling lama satu hari, lalu membacanya lagi sebelum halaman berikutnya.
Apakah memblokir pembaca akan menghapus halaman saya dari hasil pencarian?
Tidak. Hasil berasal dari pencarian web langsung yang tidak kami kendalikan. Memblokir pembaca berarti pelanggan kami melihat judul, URL, dan snippet Anda, tetapi tidak teks halamannya.
Apakah ia mematuhi Crawl-delay?
Pembaca tidak melakukan crawl, jadi ia jarang mengirim lebih dari beberapa permintaan ke satu situs. Jika kunjungannya memberatkan server Anda, kirim email ke [email protected] dan kami akan memperlambatnya untuk domain Anda.
Apakah ia membaca halaman yang memerlukan login atau langganan?
Tidak. Ia tidak mengirim kredensial maupun cookie, dan pelanggan dilarang meminta halaman semacam itu oleh kebijakan penggunaan yang dapat diterima.
Ke mana saya harus menghubungi soal pembaca?
[email protected]. Sertakan URL, waktu permintaan, dan jika relevan, baris-baris robots.txt Anda. Setiap pesan dibaca oleh manusia.