คำตอบสั้น
บอท LLMWebSearch คืออะไร และบล็อกได้อย่างไร?
page reader LLMWebSearch ดึงหน้าเว็บสาธารณะที่ปรากฏในผลการค้นหาเว็บของลูกค้า เพื่อให้ AI agent อ่านได้ มันส่ง user agent LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/) และปฏิบัติตามกฎ robots.txt สำหรับ LLMWebSearch หรือสำหรับ robots ทั้งหมด สองบรรทัดใน robots.txt บล็อกมันได้ มันอ่านไม่เกิน 10 หน้าต่อการค้นหา และไม่เคยหลีกเลี่ยงการปฏิเสธ
page reader โดยสรุป
| User-Agent header | LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/) |
|---|---|
| โทเคน robots.txt | LLMWebSearch |
| เมื่อเข้าเยี่ยม | เฉพาะเมื่อหน้าเว็บของคุณอยู่ในผลลัพธ์ที่ลูกค้าขอให้อ่าน หรือลูกค้าระบุ URL ของคุณ |
| หน้าต่อการค้นหา | ไม่เกิน 10 หน้า ปกติ 3 หน้า |
| robots.txt | อ่านก่อนหน้าเว็บใดๆ; แคชกฎไว้นานสุด 24 ชั่วโมง |
| Content-Signal | ai-input=no กันเนื้อหาของคุณออกจากคำตอบ |
| การปฏิเสธ | ถือเป็นที่สิ้นสุด: ไม่ลองใหม่ภายใต้ชื่ออื่น ไม่แก้ CAPTCHA ไม่ลงชื่อเข้าใช้ |
| ติดต่อ | [email protected] |
ทำไมมันถึงเข้ามาในเว็บไซต์ของฉัน?
เพราะการค้นหาของลูกค้ารายหนึ่งพบหนึ่งในหน้าเว็บของคุณอยู่ใกล้ด้านบนสุด และ agent ของลูกค้าได้ขอข้อความของผลลัพธ์แรกๆ น้อยครั้งกว่านั้น ลูกค้าได้ส่ง URL ของคุณไปยัง endpoint /extract ของเราเพราะพวกเขามีลิงก์อยู่แล้ว
ตัว reader ไม่ได้ทำ crawl มันไม่ตามลิงก์ของคุณ ไม่ไล่ดู sitemap ของคุณ และไม่สร้าง index การเข้าชมแต่ละครั้งคือหนึ่งหน้าเว็บ ที่ถูกขอเพราะมีบุคคลหรือ agent ต้องการอ่านมันในขณะนั้น
ฉันจะบล็อกมันทั้งหมดได้อย่างไร?
เพิ่มกลุ่มสำหรับ token ของมันลงใน robots.txt ของคุณ กฎจะมีผลเมื่อเราอ่านไฟล์ครั้งถัดไป ภายใน 24 ชั่วโมง หน้าที่มันไม่ได้รับอนุญาตให้อ่านจะยังปรากฏในผลการค้นหาพร้อมชื่อเรื่อง URL และ snippet แต่ไม่มีเนื้อหา
User-agent: LLMWebSearch
Disallow: /
ฉันบล็อกแค่บางส่วนได้ไหม?
ได้ ระบุ path ที่คุณต้องการกันออก ส่วนอื่นทั้งหมดยังอ่านได้ ตัว reader จะเลือกกลุ่มที่เขียนไว้สำหรับ LLMWebSearch ถ้ามี และเลือกกลุ่ม * ในกรณีอื่น เช่นเดียวกับ robot ที่ทำตัวดีโดยทั่วไป
User-agent: LLMWebSearch
Disallow: /account/
Disallow: /checkout/
Allow: /
ฉันอนุญาตให้ค้นหาแต่ปฏิเสธการใช้กับ AI ได้ไหม?
ได้ ด้วย Content Signal เว็บไซต์ที่ตั้งค่า Content-Signal: ai-input=no ใน robots.txt จะกันหน้าเว็บของตนออกจากเนื้อหาในผลลัพธ์ของคุณ หน้าเว็บของคุณยังแสดงเป็นผลลัพธ์ได้ คนจึงยังหาเจอ แต่ข้อความของหน้าเว็บจะไม่ถูกส่งให้ AI agent ผ่าน API ของเรา
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
ตัว reader ไม่ทำอะไรบ้าง?
เมื่อเว็บไซต์ปิดกั้นตัวอ่านของเรา ผลลัพธ์จะกลับมาโดยไม่มีเนื้อหาและมีสถานะของเว็บไซต์: เราไม่แก้ CAPTCHA ไม่ลงชื่อเข้าใช้บัญชี และไม่หลบเลี่ยงการบล็อกหรือ paywall มันไม่แอบอ้างเป็นเบราว์เซอร์ทั่วไป ไม่สลับไปใช้ user agent อื่นหลังถูกปฏิเสธ และไม่ส่ง cookies หรือ credentials
บางหน้าเว็บแสดงข้อความหลังจาก JavaScript ทำงาน สำหรับหน้าเหล่านี้ ตัว reader สามารถโหลดหน้าเว็บในเบราว์เซอร์แบบ headless ได้ โดยยังใช้ user agent เดิมและกฎ robots.txt เดิม หากเจอ 403, 429 หรือหน้า challenge การพยายามจะสิ้นสุดลง ลูกค้าจะได้รับคำตอบของคุณ ไม่ใช่เนื้อหาของคุณ
ฉันจะรู้จักคำขอของมันได้อย่างไร?
จาก user agent LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/) ซึ่งลิงก์กลับมาที่หน้านี้ ปัจจุบันเราไม่ได้เผยแพร่รายการ IP address หากคำขอใดอ้างว่าเป็น reader ของเราแต่มีพฤติกรรมต่างจากที่หน้านี้อธิบายไว้ โปรดแจ้งเรา: อาจเป็นผู้อื่นที่ใช้ชื่อของเรา
เนื้อหาที่มันอ่านจะเกิดอะไรขึ้น?
มันไปอยู่ใน API response ของลูกค้ารายเดียวเท่านั้น เราไม่เก็บสำเนาหน้าเว็บของคุณ ไม่สร้าง archive และไม่ฝึกโมเดลใดๆ กับมัน บันทึกของเราบันทึกข้อความ excerpt คำค้นหาของลูกค้าและจำนวนหน้าที่อ่าน ไม่ใช่ข้อความในหน้าเว็บของคุณ นโยบายความเป็นส่วนตัว อธิบายบันทึกอย่างครบถ้วน
คำถามจากเจ้าของเว็บไซต์
การเปลี่ยนแปลง robots.txt มีผลเร็วแค่ไหน?
ภายใน 24 ชั่วโมง ตัว reader เก็บสำเนา robots.txt ของคุณไว้ไม่เกินหนึ่งวัน แล้วอ่านใหม่ก่อนหน้าเว็บถัดไป
การบล็อก reader จะทำให้หน้าเว็บของฉันหายจากผลการค้นหาไหม?
ไม่ ผลลัพธ์มาจากการค้นหาเว็บแบบเรียลไทม์ซึ่งเราไม่ได้ควบคุม การบล็อก reader หมายความว่าลูกค้าของเราเห็นชื่อเรื่อง URL และ snippet ของคุณ แต่ไม่เห็นข้อความในหน้าเว็บ
มันเคารพ Crawl-delay ไหม?
ตัว reader ไม่ได้ทำ crawl จึงแทบจะไม่ส่งคำขอเกินสองสามครั้งไปยังเว็บไซต์เดียว หากการเข้าชมของมันสร้างภาระให้เซิร์ฟเวอร์ของคุณ โปรดเขียนถึง [email protected] แล้วเราจะชะลอการเข้าชมสำหรับโดเมนของคุณ
มันอ่านหน้าที่ต้อง login หรือสมัครสมาชิกไหม?
ไม่ มันไม่ส่ง credentials และไม่ส่ง cookies และลูกค้าถูกห้ามขอหน้าที่เช่นนั้นตาม นโยบายการใช้งานที่ยอมรับได้
ฉันควรติดต่อใครเกี่ยวกับ reader?
[email protected] โปรดระบุ URL เวลาของคำขอ และหากเกี่ยวข้อง บรรทัดใน robots.txt ของคุณ มีคนอ่านทุกข้อความ