この前、大規模にドメイン変更に伴うサーバーの移転作業をおこないました。
かなりの大規模サイトで、15年間使い続けてきたドメイン変更しました。厳密にいえば、共用サーバーのサブドメインだったんですが、最近のアクセス増によってサーバー会社から出ていってくれないかと言われて渋々の移転です。
そんな経緯で、サーバー移転プロジェクトを一か月かけて予定を立てて、さて実施しようとしたところ、思いっきり躓きました。
それは表題の通りrobots.txtです。
robots.txtはGoogle の Search Console で予め移転先のサーバーへはコンテンツの移転が完全に終わるまではrobots.txtですべてブロックしている状態でした。
そして、当日ファイルの移転がをおこない、robots.txtの変更作業をおこなっていて、sitemaps.xmlを読み込ませたら、エラーの嵐！ 何事！と思ってみると全てのURLがブロックされている状態でした。
初めは、robots.txtがちゃんと変更されていないのかと思って何度も更新を試みても、結局ブロックされてしまう。
よくよく調べてみると、robots.txtは一日程度たたないと更新が反映されないものだということがわかりました。
このまま移転してしまうと、せっかく新しいURLに検索botが来てもすべてブロックされてしまい、移転自体が失敗してしまう可能性があると踏んで、移転を一日延期しました。
翌日、およそ18時間程度たってから、改めて見てみると新しいrobots.txtに反映されていました。
移転する前日ぐらいにはrobots.txtを変更しておくように、注意しましょう。
