Googlebotが過去に消したファイルをずっと探しにくるときの対処方法

サーバーのアクセスログを見ていたら、エラーログに File does not exist: home/sp とか大量に出ている。
これは以前にspフォルダをつくってスマートフォン用に表示していたのだが、今はPCもスマホも同じソースを見に行かせているので、今はspフォルダ自体削除して存在しない。

その時は、存在しないファイル ステータスコード404 Not Found であれば、そのまま放置でも問題ないそうなので、ほったらかしにしていた。
しかし、一年経ってもいまだに毎日のようにアクセスしてくるので、今度はGoogleが用意している削除リクエストをつかってみた。

一か月たった・・・今。
関係なく、毎日のようにGooglebotからspフォルダへのアクセスは一向に減る気配がない。
いい加減ログが流れていくのが鬱陶しいので、対処することにした。

調べていると、404エラーっていうのは、一時的に存在しないよっていう感じの意味みたい。
なので、Googlebotは復活していないかどうか、毎日のように確認にくるそうだ。
完全に消去してファイルを復活すること予定がないのなら、ちゃんとステータスコード 410 Gone を明示的に返してやるのが親切。

RewriteCondを使ってやる方法もあるが、記述間違いで必要なファイルまで410コードを返すような恐ろしいことになっては嫌なので、確実な方法でやることにした。実施した方法は以下の通り。

消したspフォルダと同じ名前、同じ階層で新規でspフォルダを作成する。
作成したspフォルダの中に、以下の文言を記載した .htaccess をアップロードする。

Redirect gone /

実際にブラウザでアクセスしてみて、以下のような文章がでたら成功。

Gone
The requested resource
/sp/
is no longer available on this server and there is no forwarding address. Please remove all references to this resource.