クイック回答
LLMWebSearch ボットとは何で、どうブロックしますか？
LLMWebSearch のページリーダーは、顧客の Web検索結果に表示された公開ページを取得し、AI エージェントが読めるようにします。User-Agent として LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/) を送信し、LLMWebSearch またはすべてのロボットに対する robots.txt のルールに従います。robots.txt の 2 行でブロックできます。1 回の検索で最大 10 ページまで読み、拒否を回避することは決してありません。
ページリーダーの概要
| User-Agent ヘッダー | LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/) |
|---|---|
| robots.txt トークン | LLMWebSearch |
| 訪問するタイミング | お客様が読むよう要求した検索結果にあなたのページが含まれる場合、またはお客様があなたの URL を指定した場合のみ |
| 1 検索あたりのページ数 | 最大 10、通常は 3 |
| robots.txt | どのページよりも前に読み込み、ルールは最大 24 時間キャッシュ |
| Content-Signal | ai-input=no はあなたのコンテンツをレスポンスに含めません |
| 拒否 | 最終的なものとして受け入れます：別名での再試行なし、CAPTCHA の解決なし、サインインなし |
| お問い合わせ | [email protected] |
なぜ私のサイトにアクセスしているのですか？
お客様の検索でお客様のページのいずれかが上位に表示され、そのエージェントが最初の結果の本文を要求したためです。頻度は低いですが、お客様がすでにリンクを持っていたため、お客様のURLを当社の/extractエンドポイントに送信した場合もあります。
リーダーはクロールしません。リンクをたどらず、サイトマップを巡回せず、インデックスを構築しません。各訪問は1ページのみで、その瞬間に人またはエージェントがそのページを読みたいと思ったために要求されます。
完全にブロックするにはどうすればよいですか？
robots.txtにそのトークンのグループを追加してください。このルールは、次に当社がファイルを読み取る時、つまり24時間以内に有効になります。読み取りを許可されていないページも、タイトル、URL、スニペット付きで検索結果に表示されますが、本文は表示されません。
User-agent: LLMWebSearch
Disallow: /
一部のセクションだけをブロックできますか？
はい。締め出したいパスを列挙してください。それ以外はすべて読み取り可能なままです。リーダーは、ほとんどの行儀のよいロボットと同様に、LLMWebSearch向けに書かれたグループがあればそれを、なければ*グループを選択します。
User-agent: LLMWebSearch
Disallow: /account/
Disallow: /checkout/
Allow: /
検索は許可しつつ、AI利用は拒否できますか？
はい、Content Signalで可能です。robots.txtにContent-Signal: ai-input=noを設定しているサイトは、そのページのコンテンツが結果に含まれません。お客様のページは引き続き結果として掲載され、人が見つけられるようになりますが、本文が当社のAPIを通じてAIエージェントに渡されることはありません。
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
リーダーが決して行わないことは何ですか？
サイトが当社のリーダーを拒否した場合、結果はコンテンツなしで、サイトのステータスとともに返されます。当社がCAPTCHAを解いたり、アカウントにサインインしたり、ブロックやペイウォールを回避したりすることは一切ありません。また、通常のブラウザを装うこと、拒否後に別のUser-Agentに切り替えること、Cookieや認証情報を送信することもありません。
一部のページはJavaScriptが実行された後にのみ本文を表示します。そのような場合、リーダーは同じUser-Agentと同じrobots.txtルールの下で、ヘッドレスブラウザでページを読み込むことができます。403、429、またはチャレンジページで試行は終了し、お客様はお客様の回答を受け取り、本文は受け取りません。
そのリクエストをどうやって識別できますか？
このページにリンクしているUser-Agent LLMWebSearch/1.0 (+https://llmwebsearch.com/bot/)によって識別できます。現在、IPアドレスのリストは公開していません。リクエストが当社のリーダーを名乗りながら、このページに記載されている動作と異なる場合、お知らせください。当社の名前を使った別の誰かである可能性があります。
読み取ったコンテンツはどうなりますか？
1人のお客様のAPIレスポンスに含まれるだけで、それ以外のどこにも行きません。お客様のページのコピーを保持せず、アーカイブを構築せず、いかなるモデルの学習にも使用しません。当社のログには、お客様の検索クエリの抜粋と読み取ったページ数が記録されますが、お客様のページの本文は記録されません。プライバシーポリシーにログの詳細が記載されています。
サイト所有者からの質問
robots.txtの変更はどのくらいで反映されますか？
24時間以内です。リーダーはお客様のrobots.txtのコピーを最大1日保持し、次のページの前に再度読み取ります。
リーダーをブロックすると検索結果から私のページが削除されますか？
いいえ。結果は当社が制御できないライブのウェブ検索から得られます。リーダーをブロックすると、当社のお客様にはお客様のタイトル、URL、スニペットが表示されますが、ページの本文は表示されません。
Crawl-delayは尊重されますか？
リーダーはクロールしないため、1つのサイトに数件以上のリクエストを送ることはほとんどありません。訪問がサーバーに負担をかけるようであれば、[email protected]までご連絡ください。お客様のドメインに対して速度を落とします。
ログインやサブスクリプションが必要なページも読み取りますか？
いいえ。認証情報もCookieも送信せず、利用規約により、お客様はそのようなページを要求することを禁じられています。
リーダーについて誰に連絡すればよいですか？
[email protected]。URL、リクエストの時刻、必要に応じてrobots.txtの該当行を含めてください。すべてのメッセージを人が読んでいます。