빠른 답변
LLMWebSearch 봇이란 무엇이고 어떻게 차단하나요?
LLMWebSearch 페이지 리더는 고객의 웹 검색 결과에 나타난 공개 페이지를 가져와 AI 에이전트가 읽을 수 있게 합니다. user agent LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/)을 전송하고 LLMWebSearch 또는 모든 봇에 대한 robots.txt 규칙을 따릅니다. robots.txt의 두 줄로 차단됩니다. 검색당 최대 10개 페이지를 읽으며, 거부를 우회하지 않습니다.
한눈에 보는 페이지 리더
| User-Agent 헤더 | LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/) |
|---|---|
| robots.txt 토큰 | LLMWebSearch |
| 방문 시점 | 고객이 읽도록 요청한 결과에 귀하의 페이지가 있을 때만, 또는 고객이 귀하의 URL을 지정할 때만 |
| 검색당 페이지 수 | 최대 10개, 보통 3개 |
| robots.txt | 모든 페이지 전에 읽음; 규칙은 최대 24시간 캐시됨 |
| Content-Signal | ai-input=no은 귀하의 콘텐츠를 응답에서 제외합니다 |
| 거부 | 최종으로 받아들임: 다른 이름으로 재시도 없음, CAPTCHA 해결 없음, 로그인 없음 |
| 문의 | [email protected] |
왜 제 사이트를 방문하나요?
고객의 검색 결과에서 귀하의 페이지 중 하나가 상위에 반환되었고, 고객의 에이전트가 첫 번째 결과들의 텍스트를 요청했기 때문입니다. 더 드물게는 고객이 이미 링크를 가지고 있어서 해당 URL을 저희 /extract 엔드포인트로 보낸 경우도 있습니다.
리더는 크롤링하지 않습니다. 귀하의 링크를 따라가지 않고, 사이트맵을 돌지 않으며, 인덱스를 만들지 않습니다. 각 방문은 하나의 페이지에 대한 것이며, 사람 또는 에이전트가 그 순간 그 페이지를 읽고자 해서 요청된 것입니다.
완전히 차단하려면 어떻게 하나요?
robots.txt에 리더의 토큰에 대한 그룹을 추가하세요. 해당 규칙은 24시간 이내에, 저희가 다음으로 파일을 읽는 시점에 적용됩니다. 읽을 수 없는 페이지도 검색 결과에는 제목, URL, 스니펫과 함께 표시되지만 본문은 표시되지 않습니다.
User-agent: LLMWebSearch
Disallow: /
일부 섹션만 차단할 수 있나요?
네. 제외할 경로를 나열하면 나머지는 모두 읽을 수 있는 상태로 유지됩니다. 리더는 LLMWebSearch에 대해 작성된 그룹이 있으면 그것을, 없으면 * 그룹을 선택합니다. 대부분의 규칙을 지키는 로봇과 같습니다.
User-agent: LLMWebSearch
Disallow: /account/
Disallow: /checkout/
Allow: /
검색은 허용하고 AI 사용은 거부할 수 있나요?
네, Content Signal로 가능합니다. robots.txt에 Content-Signal: ai-input=no를 설정한 사이트는 해당 페이지의 콘텐츠가 결과에 포함되지 않습니다. 귀하의 페이지는 여전히 결과로 표시되어 사람들이 찾을 수 있지만, 그 텍스트는 저희 API를 통해 AI 에이전트에 전달되지 않습니다.
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
리더가 절대 하지 않는 것은 무엇인가요?
사이트가 저희 리더를 거부하면, 결과는 콘텐츠 없이 해당 사이트의 상태와 함께 반환됩니다. 저희는 CAPTCHA를 풀거나 계정에 로그인하거나 차단 또는 페이월을 우회하지 않습니다. 또한 일반 브라우저인 척하지 않고, 거부 이후 다른 user agent로 전환하지 않으며, 쿠키나 자격 증명을 보내지 않습니다.
일부 페이지는 JavaScript가 실행된 후에야 텍스트를 표시합니다. 그런 경우 리더는 동일한 user agent와 동일한 robots.txt 규칙 아래에서 헤드리스 브라우저로 페이지를 로드할 수 있습니다. 403, 429 또는 챌린지 페이지가 나오면 시도는 종료되며, 고객은 귀하의 답변을 받고 본문은 받지 못합니다.
리더의 요청을 어떻게 알아볼 수 있나요?
이 페이지로 연결되는 user agent LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/)로 알아볼 수 있습니다. 저희는 현재 IP 주소 목록을 공개하지 않습니다. 어떤 요청이 저희 리더라고 주장하면서 이 페이지에 설명된 것과 다르게 동작한다면 알려주세요. 저희 이름을 사용하는 다른 누군가일 수 있습니다.
읽은 본문은 어떻게 되나요?
한 고객의 API 응답으로만 전달되고 그 외에는 아무 데도 가지 않습니다. 저희는 귀하의 페이지 사본을 보관하지 않고, 아카이브를 만들지 않으며, 어떤 모델 학습에도 사용하지 않습니다. 저희 로그에는 고객의 검색 쿼리 발췌와 읽은 페이지 수가 기록될 뿐, 귀하 페이지의 본문은 기록되지 않습니다. 개인정보 처리방침에 로그에 대한 전체 내용이 설명되어 있습니다.
사이트 소유자의 질문
robots.txt 변경은 얼마나 빨리 적용되나요?
24시간 이내입니다. 리더는 귀하의 robots.txt 사본을 최대 하루 동안 보관한 뒤, 다음 페이지 요청 전에 다시 읽습니다.
리더를 차단하면 검색 결과에서 제 페이지가 제거되나요?
아니요. 결과는 저희가 통제하지 않는 실시간 웹 검색에서 나옵니다. 리더를 차단하면 저희 고객은 귀하의 제목, URL, 스니펫을 보지만 페이지 본문은 보지 못합니다.
Crawl-delay를 준수하나요?
리더는 크롤링하지 않으므로 한 사이트에 몇 건 이상의 요청을 보내는 일은 드뭅니다. 만약 리더의 방문이 서버에 부담이 된다면 [email protected]으로 연락해 주세요. 해당 도메인에 대해 속도를 늦추겠습니다.
로그인이나 구독이 필요한 페이지도 읽나요?
아니요. 리더는 자격 증명도 쿠키도 보내지 않으며, 고객은 이용 정책에 따라 그러한 페이지를 요청하는 것이 금지되어 있습니다.
리더에 관해 누구에게 연락하나요?
[email protected]. URL, 요청 시각, 해당되는 경우 robots.txt의 해당 줄을 포함해 주세요. 모든 메시지를 사람이 읽습니다.