# Page reader LLMWebSearch > Untuk pemilik situs: bagaimana page reader LLMWebSearch mengidentifikasi diri, kapan berkunjung, mengikuti robots.txt dan cara memblokirnya. - URL: https://llmwebsearch.com/id/bot/ - Terakhir diperbarui: 2026-10-22 - Penerbit: LLMWebSearch (https://llmwebsearch.com) Page reader kami hanya membuka halaman publik saat pencarian pelanggan membutuhkannya. Ia menyebut dirinya, membaca robots.txt terlebih dahulu, dan menerima penolakan. Berikut semua yang dibutuhkan pemilik situs untuk mengenalinya, membatasinya, atau memblokirnya. **Jawaban singkat — Apa itu bot LLMWebSearch dan bagaimana cara memblokirnya?** Page reader **LLMWebSearch** mengambil halaman publik yang muncul di hasil pencarian web pelanggan, agar agen AI dapat membacanya. Ia mengirim user agent `LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/)` dan mematuhi aturan robots.txt untuk `LLMWebSearch` atau untuk semua robot. Dua baris di robots.txt memblokirnya. Ia membaca maksimal 10 halaman per pencarian, dan tidak pernah mengakali penolakan. ## Page reader secara singkat | Atribut | Nilai | | --- | --- | | Header User-Agent | `LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/)` | | Token robots.txt | `LLMWebSearch` | | Kapan ia berkunjung | Hanya ketika halaman Anda termasuk hasil yang diminta pelanggan untuk dibaca, atau ketika pelanggan menyebut URL Anda | | Halaman per pencarian | Hingga 10, biasanya 3 | | robots.txt | Dibaca sebelum halaman mana pun; aturan di-cache maksimal 24 jam | | Content-Signal | `ai-input=no` menjaga konten Anda agar tidak masuk ke respons | | Penolakan | Diterima sebagai final: tanpa percobaan ulang dengan nama lain, tanpa penyelesaian CAPTCHA, tanpa login | | Kontak | abuse@llmwebsearch.com | ## Mengapa ia mengunjungi situs saya? Karena hasil pencarian seorang pelanggan menampilkan salah satu halaman Anda di posisi teratas, dan agen mereka meminta teks dari hasil pertama. Lebih jarang, seorang pelanggan mengirim URL Anda ke endpoint `/extract` kami karena mereka sudah memiliki tautannya. Pembaca tidak melakukan crawl. Ia tidak mengikuti tautan Anda, menelusuri sitemap Anda, atau membangun indeks. Setiap kunjungan adalah satu halaman, diminta karena seseorang atau agen ingin membacanya pada saat itu. ## Bagaimana cara memblokirnya sepenuhnya? Tambahkan grup untuk token-nya ke robots.txt Anda. Aturan ini berlaku pada pembacaan file berikutnya oleh kami, dalam 24 jam. Halaman yang tidak boleh dibacanya tetap muncul di hasil pencarian dengan judul, URL, dan snippet-nya, tetapi tanpa kontennya. *robots.txt: jauhkan pembaca LLMWebSearch dari seluruh situs* ```text User-agent: LLMWebSearch Disallow: / ``` ## Bisakah saya memblokir hanya sebagian bagian? Bisa. Daftarkan path yang ingin Anda kecualikan; sisanya tetap dapat dibaca. Pembaca memilih grup yang ditulis untuk `LLMWebSearch` jika ada, dan grup `*` jika tidak, seperti kebanyakan robot yang patuh. *robots.txt: kecualikan halaman akun dan checkout* ```text User-agent: LLMWebSearch Disallow: /account/ Disallow: /checkout/ Allow: / ``` ## Bisakah saya mengizinkan pencarian tetapi menolak penggunaan AI? Bisa, dengan Content Signal. Situs yang menyetel Content-Signal: ai-input=no di robots.txt-nya menjaga halaman-halamannya agar tidak masuk ke konten hasil Anda. Halaman Anda tetap dapat tercantum sebagai hasil pencarian, sehingga orang menemukannya, tetapi teksnya tidak diserahkan ke agen AI melalui API kami. *robots.txt: tercantum di hasil pencarian, tanpa konten untuk input AI* ```text User-agent: * Content-Signal: search=yes, ai-input=no Allow: / ``` ## Apa yang tidak pernah dilakukan pembaca? Saat situs menolak pembaca kami, hasil kembali tanpa konten dan dengan status dari situs tersebut: kami tidak pernah memecahkan CAPTCHA, masuk ke akun, atau mengakali blokir atau paywall. Ia juga tidak menyamar sebagai browser biasa, tidak beralih ke user agent lain setelah penolakan, dan tidak mengirim cookie atau kredensial. Sebagian halaman hanya menampilkan teksnya setelah JavaScript berjalan. Untuk halaman seperti itu, pembaca dapat memuat halaman di browser headless, tetap dengan user agent yang sama dan aturan robots.txt yang sama. Respons 403, 429, atau halaman tantangan mengakhiri upaya tersebut; pelanggan menerima jawaban Anda, bukan konten Anda. ## Bagaimana cara mengenali permintaannya? Dari user agent `LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/)`, yang menautkan kembali ke halaman ini. Kami belum menerbitkan daftar alamat IP. Jika ada permintaan yang mengaku sebagai pembaca kami tetapi berperilaku berbeda dari yang dijelaskan halaman ini, beri tahu kami: mungkin itu pihak lain yang menggunakan nama kami. ## Apa yang terjadi pada konten yang dibacanya? Konten itu masuk ke respons API satu pelanggan dan tidak ke tempat lain. Kami tidak menyimpan salinan halaman Anda, tidak membangun arsipnya, dan tidak melatih model apa pun dengannya. Log kami mencatat kutipan kueri pelanggan dan jumlah halaman yang dibaca, bukan teks halaman Anda. [Kebijakan privasi](https://llmwebsearch.com/id/privacy/) menjelaskan log tersebut secara lengkap. ## Pertanyaan dari pemilik situs ### Seberapa cepat perubahan robots.txt berlaku? Dalam 24 jam. Pembaca menyimpan salinan robots.txt Anda paling lama satu hari, lalu membacanya lagi sebelum halaman berikutnya. ### Apakah memblokir pembaca akan menghapus halaman saya dari hasil pencarian? Tidak. Hasil berasal dari pencarian web langsung yang tidak kami kendalikan. Memblokir pembaca berarti pelanggan kami melihat judul, URL, dan snippet Anda, tetapi tidak teks halamannya. ### Apakah ia mematuhi Crawl-delay? Pembaca tidak melakukan crawl, jadi ia jarang mengirim lebih dari beberapa permintaan ke satu situs. Jika kunjungannya memberatkan server Anda, kirim email ke abuse@llmwebsearch.com dan kami akan memperlambatnya untuk domain Anda. ### Apakah ia membaca halaman yang memerlukan login atau langganan? Tidak. Ia tidak mengirim kredensial maupun cookie, dan pelanggan dilarang meminta halaman semacam itu oleh [kebijakan penggunaan yang dapat diterima](https://llmwebsearch.com/id/acceptable-use/). ### Ke mana saya harus menghubungi soal pembaca? abuse@llmwebsearch.com. Sertakan URL, waktu permintaan, dan jika relevan, baris-baris robots.txt Anda. Setiap pesan dibaca oleh manusia. --- LLMWebSearch: LLMWebSearch adalah API pencarian web untuk agen AI yang mengembalikan hasil berperingkat beserta konten halaman teratas dalam Markdown, dibayar dengan kripto tanpa unggah ID. Kredit prabayar mulai dari US$1,20/1K pencarian tidak pernah kedaluwarsa. Tanpa KYC — tanpa ID, tanpa selfie, tanpa dokumen. Bayar dengan kripto.