一般公開されていないWEBシステムは検索エンジンのインデックスを削除した方がいい[Apacheで簡単にnoindexを設定する方法とGoogleインデックスが削除されるまでの期間について]
私はBtoB企業のWEBシステムを作っています。一般ユーザには解放していないシステムのため、セキュリティ向上の目的で、検索エンジンのインデックス登録をさせない設定にしています。
意外とB to B(企業間)のWEBシステムや一般に開放されていないウェブページでも、検索エンジンのインデックス登録を許可したままのサイトが多いなぁという印象です。セキュリティ的にはインデックス削除した方がいいかなと思うので、設定例をご紹介します。
- 検索エンジン避けをした方が良い理由
- Apacheでnoindexを簡単に設定する方法
- HTTPヘッダにnoindex設定できたかどうか確認する方法
- noindex設定後、どれぐらいの期間でGoogleのインデックスは消えるのか？
検索エンジン避けをした方が良い理由
GoogleやYahoo!などの検索エンジンは常時、クロール（手あたり次第WEBサイトにアクセス）して、サイト内容をチェックします。アクセスしたページに書かれている内容を「インデックス」として記録しておきます。
GoogleやYahoo!などの検索エンジンで検索した場合、このインデックス情報をもとに、検索ワードに関連するサイトを探し出して、一覧化してくれています。
普通のサイトなら多くの人に見て欲しいので、このインデックスに登録されるというのが重要なのですが、特定の人にしか見せたくないページ、というのはそうではありません。例えば、BtoBのサイトや、限られたユーザにしか解放していない限定商品のページ、など、検索から見つけられたくないサイトというのもあります。
そういうときは、検索エンジンに登録されないほうが良いのです。下手に色んな人の目に触れると、悪意のあるユーザにサイトが見つかれば、攻撃をされる可能性も上がります。
ということで、検索エンジン避けをした方がセキュリティ的には良いかと思います。
Apacheでnoindexを簡単に設定する方法
では、検索エンジンに対して「このページはインデックス登録しないで」と指示するにはどうするかというと、サイトに「noindex」というタグを設定をしてあげる必要があります。
noindexを設定する方法はいくつかあります。1つはウェブページのHTMLにnoindexタグを追加する方法です。<head>タグ内に以下のタグを追加することで設定できます。
記述例：
<meta name="robots" content="noindex" />
特定のページだけ設定したいなら、こちらの方法が簡単です。
もう１つは、HTTPレスポンスヘッダにタグを追加する方法です。
上記のmetaタグの場合HTMLを修正しないといけませんが、それと比べて修正箇所が少なくすんだので、私はこちらの方法をしました。
ここではApacheサーバで対応する方法をご紹介します。なおこの方法だと、Apacheを使っている全サーバに影響があるのでご留意ください。
- Apacheの設定ファイルを修正する
対象ファイル：Apacheフォルダ/conf/httpd.confに、以下の記述を追加。
記述する内容は以下の１行です。
Header set X-Robots-Tag "noindex"
※記述する場所はどこでもいい（タグ内の中などでなければ）のですが、わかりやすくファイルの一番下などで良いでしょう。 - Apacheのサービスを再起動
手順は以上です。再起動すれば設定が適用されます。
HTTPヘッダにnoindex設定できたかどうか確認する方法
正しくnoindexが設定できたかどうかは、例えばブラウザの開発者ツールを利用することで確認できます。ここではGoogleChromeを使った方法をご紹介。
- GoogleChromeを起動
- F12キーを押して開発者ツールを起動
- 開発者ツールの「ネットワーク」タブをクリック
- この状態で対象のサイトにアクセス
- 対象サイトのhtmlファイルないしjspファイルが表示されるのでクリック
- レスポンスヘッダーのエリアを確認（ここにHTT‘Pレスポンスの内容が表示される）
X-Robots-Tag: noindex が設定されていたらOKです（画像の例では、設定されていません
noindex設定後、どれぐらいの期間でGoogleのインデックスは消えるのか？
noindexを設定した後、Googleのインデックス情報に反映されるまでどれぐらいかかるかはケースバイケースです。１度インデックスを張った後は、Googleが不定期にサイトを再訪問し、インデックス内容を見直してくれます。この再訪問までの期間がサイトによって異なります。Googleから見て重要なサイトほど再訪問までの期間が短くなり頻繁に訪問してくれます。
※Google Search Consoleを使ってインデックス登録をリクエストすると、より早く再訪問してくれます。
早ければ2、3日で、長ければ1カ月以上かかることもあります。
【記事内広告】
【技術系ブログ】
