AIO AIO Field Notes

Amazonbot、TikTok Spider…Eコマース系・データ転売系クローラーとは

ChatGPTやClaude以外にも、様々な目的でサイトを訪れるAI関連クローラーが数多く存在します。 本サイトを運営するCloudflareの管理画面(AI Crawl Control)で実際にアクセスログを見たところ、 GPTBotやClaudeBotだけでなく、聞き慣れない名前のクローラーが多数記録されていました。 ここでは、その中でも代表的なものを整理します。

実際の観測データ

2026年8月時点、本サイトが所属するCloudflareアカウント全体(複数サイトの合計)の 直近24時間の集計では、AIクローラーからのアクセスが881件検出され、 そのうち856件がブロック(403エラー)されていました。個別には、 Amazonbotが140件、GPTBotが75件、ClaudeBotが66件、CCBotが6件などとなっており、 Claude-SearchBot(9件)やClaude-User(2件)のような「回答時にリアルタイム参照する」 タイプのクローラーは許可されていました。

クローラーの性質は一つではない

「聞いたことのないクローラー」を十把一絡げに警戒する前に、まず性質を分けて考えると 整理しやすくなります。

1. 大手プラットフォームの学習・検索用クローラー

Amazonbot(Amazon運営)は大規模なデータ収集に使われているとされていますが、 ChatGPTやPerplexityのような「回答エンジン」として一般に広く知られているわけではなく、 具体的な用途の詳細は公開情報からは断定できません(不明)。

Bytespider(通称TikTok Spider、ByteDance運営)は、同社のAIチャットボット 「Doubao(豆包)」などの学習用データセットを構築するために、大規模なコンテンツ収集を 行っているとされています。 (出典: Botify「What Are AI Crawler Bots?」)

PetalBot(Huawei運営)は、同社の「Petal Search」向けに、モバイル検索や AI活用検索の索引付けを行うクローラーです。

2. AIエージェント支援系のクローラー

Novellum AI Crawlは、AI自動化ツールがサイトを走査し、 外部コンテンツを読み取る必要のあるエージェントを支援するために使われているとされています。 運営元のNovellum社は、AIエージェント・ワークフローの可観測性(オブザーバビリティ)や 自動修復機能を提供する米国企業です。

3. パブリッシャーに収益を還元するタイプ

最も意外性があったのがProRataIncです。これはAI企業が一方的にコンテンツを 収集するタイプのクローラーではなく、「Gist Answers」というAI回答サービスを運営する ProRata.ai社のクローラーです。同社は広告収益の50%を、回答生成に実際に使われた コンテンツの提供元(パブリッシャー)へ、貢献度に応じて分配するモデルを採用しています。 2026年時点で700以上のメディアがこの仕組みに参加していると報告されています。 (出典: Business Wire「ProRata Closes $40 Million Series B Financing」)

実務上どう判断すればいいか

全てのクローラーを一律に許可・拒否するのではなく、以下のような軸で考えると 判断しやすくなります。

「聞いたことがない名前=危険」ではなく、「聞いたことがない名前=まだ実態を調べていないだけ」 という前提で、一つずつ確認していく姿勢が実務では重要だと感じています。