連載
» 2017年01月07日 05時00分 UPDATE

Tech TIPS:WebサイトへのGoogleのクローリングを禁止する

WebサイトへのGoogleのクローリングを禁止する方法を紹介する。

[デジタルアドバンテージ,著]
「Tech TIPS」のインデックス

連載目次

対象:Google


 サイトの開発時など、Googleのクローラによってページがインデックス化されると困る(WebページがGoogleで検索できるようになっては困る)場合には、Googleによるクローリングを禁止できる。これには2つの方法がある。

 1つは、robot.txtファイルをサイトのルートに配置する方法だ。サイト全体をブロックしたいときには以下のように記述する。

User-Agent: * Disallow: /


 「/test」ディレクトリのみをブロックしたい場合には次のようにする。

User-Agent: * Disallow: /test/


 もう1つは、特定ページ内のmetaタグでクローラに対する指定を次のように記述する方法である。

<meta name="robots" content="noindex, nofollow">


 特定のページだけブロックしたい場合や、robot.txtを使いたいがサイトのルートにアクセスできない場合などに使うとよい。

「Tech TIPS」のインデックス

Tech TIPS

Copyright© 1999-2017 Digital Advantage Corp. All Rights Reserved.

@IT Special

- PR -

TechTargetジャパン

この記事に関連するホワイトペーパー

RSSについて

アイティメディアIDについて

メールマガジン登録

@ITのメールマガジンは、 もちろん、すべて無料です。ぜひメールマガジンをご購読ください。