Trả lời nhanh
Bot LLMWebSearch là gì và tôi chặn nó thế nào?
Trình đọc trang LLMWebSearch tải các trang công khai xuất hiện trong kết quả tìm kiếm web của khách hàng, để một AI agent có thể đọc chúng. Nó gửi user agent LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/) và tuân theo quy tắc robots.txt cho LLMWebSearch hoặc cho tất cả robot. Hai dòng trong robots.txt chặn được nó. Nó đọc tối đa 10 trang mỗi lần tìm kiếm, và không bao giờ lách qua một lời từ chối.
Trình đọc trang trong nháy mắt
| Header User-Agent | LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/) |
|---|---|
| Token robots.txt | LLMWebSearch |
| Khi nào nó truy cập | Chỉ khi trang của bạn nằm trong kết quả mà khách hàng yêu cầu nó đọc, hoặc khách hàng nêu URL của bạn |
| Số trang mỗi lần tìm kiếm | Tối đa 10, thường là 3 |
| robots.txt | Đọc trước mọi trang; quy tắc được cache tối đa 24 giờ |
| Content-Signal | ai-input=no giữ nội dung của bạn ngoài các câu trả lời |
| Từ chối | Được chấp nhận là cuối cùng: không thử lại dưới tên khác, không giải CAPTCHA, không đăng nhập |
| Liên hệ | [email protected] |
Tại sao nó lại truy cập trang web của tôi?
Vì kết quả tìm kiếm của một khách hàng trả về một trong các trang của bạn ở gần vị trí đầu, và agent của họ đã yêu cầu văn bản của các kết quả đầu tiên. Ít gặp hơn, một khách hàng đã gửi URL của bạn tới endpoint /extract của chúng tôi vì họ đã có sẵn liên kết.
Trình đọc không crawl. Nó không theo các liên kết của bạn, không duyệt sitemap và không xây dựng chỉ mục. Mỗi lượt truy cập là một trang, được yêu cầu vì một người hoặc một agent muốn đọc trang đó vào đúng thời điểm đó.
Làm sao để chặn hoàn toàn?
Thêm một group cho token của nó vào robots.txt. Quy tắc có hiệu lực từ lần đọc tệp tiếp theo của chúng tôi, trong vòng 24 giờ. Những trang nó không được đọc vẫn xuất hiện trong kết quả tìm kiếm với tiêu đề, URL và snippet, nhưng không có nội dung.
User-agent: LLMWebSearch
Disallow: /
Tôi có thể chỉ chặn một số phần không?
Được. Liệt kê các đường dẫn bạn muốn giữ ngoài; mọi thứ còn lại vẫn đọc được. Trình đọc chọn group viết riêng cho LLMWebSearch nếu có, và nếu không thì dùng group *, giống như hầu hết các robot biết cư xử.
User-agent: LLMWebSearch
Disallow: /account/
Disallow: /checkout/
Allow: /
Tôi có thể cho phép tìm kiếm nhưng từ chối sử dụng cho AI không?
Được, bằng Content Signal. Một trang đặt Content-Signal: ai-input=no trong robots.txt sẽ giữ nội dung các trang của mình khỏi nội dung trong kết quả của bạn. Các trang của bạn vẫn có thể được liệt kê làm kết quả để mọi người tìm thấy, nhưng văn bản của chúng không được chuyển cho agent AI qua API của chúng tôi.
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
Trình đọc không bao giờ làm gì?
Khi một trang từ chối trình đọc của chúng tôi, kết quả trả về không có nội dung kèm trạng thái của trang: chúng tôi không bao giờ giải CAPTCHA, đăng nhập vào tài khoản hay lách qua một chặn chặn hoặc paywall. Nó cũng không giả làm trình duyệt thông thường, không chuyển sang user agent khác sau khi bị từ chối, và không gửi cookie hay thông tin đăng nhập.
Một số trang chỉ hiển thị văn bản sau khi JavaScript chạy. Với những trang đó, trình đọc có thể tải trang trong trình duyệt headless, vẫn dưới cùng user agent và cùng quy tắc robots.txt. Lỗi 403, 429 hoặc trang thử thách sẽ kết thúc nỗ lực; khách hàng nhận được câu trả lời của bạn, không phải nội dung.
Làm sao để nhận ra các yêu cầu của nó?
Qua user agent LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/), liên kết ngược về trang này. Hiện tại chúng tôi không công bố danh sách địa chỉ IP. Nếu một yêu cầu tự nhận là trình đọc của chúng tôi mà hành xử khác với mô tả trên trang này, hãy báo cho chúng tôi: có thể đó là người khác mạo danh chúng tôi.
Nội dung nó đọc được thì sao?
Nội dung đi vào phản hồi API của một khách hàng và không đi đâu khác. Chúng tôi không lưu bản sao trang của bạn, không xây dựng kho lưu trữ và không huấn luyện bất kỳ mô hình nào trên đó. Log của chúng tôi ghi lại phần trích truy vấn của khách hàng và số trang đã đọc, không ghi văn bản trang của bạn. Chính sách quyền riêng tư mô tả đầy đủ về log.
Câu hỏi từ chủ trang web
Thay đổi robots.txt có hiệu lực nhanh thế nào?
Trong vòng 24 giờ. Trình đọc giữ bản sao robots.txt của bạn tối đa một ngày, rồi đọc lại trước trang tiếp theo.
Chặn trình đọc có xóa trang của tôi khỏi kết quả tìm kiếm không?
Không. Kết quả đến từ một tìm kiếm web trực tiếp mà chúng tôi không kiểm soát. Chặn trình đọc nghĩa là khách hàng của chúng tôi thấy tiêu đề, URL và snippet của bạn, nhưng không thấy văn bản trang.
Nó có tôn trọng Crawl-delay không?
Trình đọc không crawl, nên hiếm khi gửi quá vài yêu cầu tới một site. Nếu các lượt truy cập của nó gây tải cho máy chủ của bạn, hãy viết tới [email protected] và chúng tôi sẽ làm chậm chúng cho tên miền của bạn.
Nó có đọc những trang cần đăng nhập hoặc đăng ký trả phí không?
Không. Nó không gửi thông tin đăng nhập hay cookie, và khách hàng bị cấm yêu cầu những trang như vậy theo chính sách sử dụng hợp lý.
Tôi liên hệ với ai về trình đọc?
[email protected]. Ghi kèm URL, thời điểm yêu cầu và nếu có thì các dòng trong robots.txt của bạn. Một người thật đọc mọi tin nhắn.