施策ログ
週次で実施した施策と、AI引用計測トラッキングシートの集計結果をここに記録していきます。
2026-08-13
Google Search Consoleへの登録を検討し、事前確認としてrobots.txtが参照している
sitemap-index.xmlに実際にアクセスしたところ404だった。原因調査から
GSC登録・サイトマップ送信までの記録。
- 問題発見:
public/robots.txtにはSitemap: https://aio.tipsindex.net/sitemap-index.xmlと記載していたが、 ブラウザで直接アクセスすると404。存在しないURLを案内していたことになる。 - 原因1:
astro.config.mjsにサイトマップを自動生成する@astrojs/sitemap連携が未導入だった。robots.txtに書いた案内文と、 実際のビルド構成が一致していなかった。 - 対応1:
@astrojs/sitemapを追加。ただし最新版(3.7.x)には ビルドがCannot read properties of undefined (reading 'reduce')で 失敗する既知の不具合があったため、動作確認済みの3.6.0を明示的に指定した。 - 原因2: 新しい依存パッケージを
package.jsonに追加した際、package-lock.json(依存関係のバージョンを厳密に固定するファイル)を 更新しないままCommitしたため、Cloudflareのビルドがnpm ciでEUSAGEエラー(package.jsonとlockfileの不一致)を出して失敗した。 - 対応2: ローカルで正しい
package-lock.jsonを再生成し、 GitHub上の既存ファイルと差し替え。再ビルド後、sitemap-index.xmlが 正常なXMLを返すことを確認した。 -
Google Search Consoleにプロパティを追加し、HTMLタグ方式(
<meta name="google-site-verification">をBaseLayout.astroの<head>に追加)で所有権を確認。左メニューの「サイトマップ」からsitemap-index.xmlを送信し、ステータス「成功」を確認した。 - 学び: robots.txtやllms.txtに書いた「案内」と、実際のビルド出力は
別物であり、一致しているとは限らない。新しい依存パッケージを追加するときは、
package.jsonだけでなくpackage-lock.jsonも必ずセットで 更新・Commitする必要がある。今回も「コードを見ただけで安心せず、本番URLで確認する」 という8/10の教訓がそのまま当てはまった。
2026-08-10
Cloudflare Workers(Git連携)でサイトをデプロイし、独自サブドメイン (aio.tipsindex.net)に接続。公開後、robots.txtに想定外の問題が見つかったので記録する。
-
デプロイ方式: Astroで静的ビルドし、Cloudflare Workers Buildsを使いGitHubリポジトリと連携。
wrangler.jsoncでassets.directoryを./distに指定する構成 (Cloudflareは新規プロジェクトに対しClassic Pagesではなくこの方式を推奨している)。 - 問題発見: 自分で書いたrobots.txtでは主要AIクローラーをすべて
Allow: /にしていたが、公開後に実際のURLを確認すると、 同じUser-agent(GPTBot・ClaudeBot・CCBot・Google-Extended・Applebot-Extended等)に対して 矛盾するDisallow: /のブロックが先頭に自動追加されていた。 - 原因: Cloudflareのゾーン単位機能「AI Crawl Control」に、独立した2つの制御があった。 (1) Security画面の個別クローラー「Block Crawler」トグル(実際の403ブロックを制御)、 (2) 「Managed robots.txt」トグル(robots.txtへの自動追記を制御、(1)とは別に動作)。 両方をオフにしないと、意図した通りのrobots.txtにはならなかった。
- 対応: Security画面で対象クローラーのBlockをオフ、さらに 「AI Crawl Control」→「Signals」にある「Managed robots.txt」トグルをオフに変更。 変更後、robots.txtを再取得して意図通りの内容になっていることを確認した。
- 学び: 自分のリポジトリ内のrobots.txtが正しくても、 Cloudflare側のゾーン設定で上書き・追記されるケースがある。 デプロイ後は必ず本番URLで実際のrobots.txtを直接確認する必要がある (ソースコードの内容を見ただけでは不十分)。
2026-08-07
- サイト公開準備を開始
- robots.txt / llms.txt / 構造化データ(Organization, Article, FAQPage, Person)を実装