誰もが「ハック」を愛しています。

私も例外ではありません-私は自分の生活をより良く、より簡単にする方法を見つけるのが大好きです。

だからこそ、今日お話しするテクニックは私の絶対的なお気に入りの1つです。すぐに使い始めることができる合法的なSEOハック。

これは、ほとんど話題にならないすべてのWebサイトの自然な部分を利用して、SEOを向上させる方法です。実装も難しくありません。

これはrobots.txtファイル（ロボット除外プロトコルまたは標準とも呼ばれます）です。

この小さな小さなテキストファイルはインターネット上のすべてのWebサイトの一部ですが、ほとんどの人はそうではありません。それについても知っています。

検索エンジンで動作するように設計されていますが、驚くべきことに、ロックが解除されるのを待っているSEOジュースのソースです。

クライアントが曲がった後にクライアントを見ました彼らのSEOを強化しようと後ろ向きにやり直しました。私が彼らに小さなテキストファイルを編集できると言うと、彼らはほとんど私を信じていません。

しかし、SEOを強化する方法は難しくも時間もかからないものがたくさんあり、これもその1つです。

あなたはrobots.txtの機能を活用するために、技術的な経験は必要ありません。ウェブサイトのソースコードが見つかったら、これを使用できます。

準備ができたら、私と一緒にフォローしてください。robots.txtを変更する方法を正確に説明します。検索エンジンが気に入るようにファイルを作成してください。

robots.txtファイルが重要な理由

まず、robots.txtファイルが重要である理由を見てみましょう。

robots.txtファイルは、ロボット除外プロトコルまたは標準とも呼ばれ、サイトのどのページをクロールするかをWebロボット（ほとんどの場合検索エンジン）に指示するテキストファイルです。

また、クロールしないページをWebロボットに通知します。

検索エンジンがサイトにアクセスしようとしているとしましょう。ターゲットページにアクセスする前に、robots.txtで手順を確認します。

robots.txtファイルにはさまざまな種類があるため、それらがどのように表示されるかのいくつかの異なる例を見てみましょう。

検索エンジンがrobots.txtファイルの例を見つけたとしましょう：

これはの基本的なスケルトンですrobots.txtファイル。

「user-agent」の後のアスタリスクは、robots.txtファイルがサイトにアクセスするすべてのウェブロボットに適用されることを意味します。

「Disallow」の後のスラッシュ」は、サイトのどのページにもアクセスしないようにロボットに指示します。

なぜ誰かがWebロボットのサイトへのアクセスを停止したいのか疑問に思われるかもしれません。

結局のところ、 SEOの主な目標は、検索エンジンがサイトを簡単にクロールしてランキングを上げることです。

ここで、このSEOハックの秘訣が明らかになります。

おそらくあなたのサイトにはたくさんのページがありますよね？思わない場合でも、チェックしてください。驚かれるかもしれません。

検索エンジンがサイトをクロールすると、すべてのページがクロールされます。

また、ページ数が多い場合は、検索エンジンボットはしばらくの間それらをクロールしますが、これはランキングに悪影響を与える可能性があります。

これは、Googlebot（Googleの検索エンジンボット）に「クロール予算」があるためです。

これは壊れます1つ目はクロール速度の制限です。Googleの説明は次のとおりです。

2つ目はクロール需要です：

基本的に、クロール予算は「GooglebotがクロールできるURLとクロールしたいURLの数」です。

Googlebotがサイトのクロール予算を可能な限り最善の方法で費やすのを支援したいと考えています。つまり、最も価値のあるページをクロールする必要があります。

Googleによると、「サイトのクロールとインデックス作成に悪影響を与える」特定の要因があります。

ここにこれらの要因：

では、robots.txtに戻りましょう。

適切なものを作成した場合robots.txtページでは、特定のページを回避するように検索エンジンボット（特にGooglebot）に指示できます。

影響について考えてください。検索エンジンボットに最も有用なコンテンツのみをクロールするように指示すると、ボットはそのコンテンツだけに基づいてサイトをクロールしてインデックスに登録します。

Googleが言うように：

「サーバーがGoogleのクローラーに圧倒されたり、クロール予算のクロールを無駄にしたりしないようにします。サイト上の重要でないページや同様のページ。」

robots.txtを正しい方法で使用することで、検索エンジンのボットにクロール予算を賢く使うように指示できます。そして、それがrobots.txtファイルをSEOコンテキストで非常に役立つものにしているのです。

robots.txtの力に興味がありますか？

そうあるべきです！それを見つけて使用する方法について話しましょう。

robots.txtファイルを見つける

robots.txtファイルをざっと見たいだけなら、非常に簡単な方法があります。表示します。

実際、この方法はどのサイトでも機能します。そのため、他のサイトのファイルを覗いて、それらが何をしているのかを確認できます。

次の3つの状況のいずれかが発生します。

1）ロボットが見つかります。txtファイル。

2）空のファイルが見つかります。

たとえば、Disney robots.txtファイルが不足しているようです：

3）404が表示されます。

メソッドはrobots.txtに対して404を返します：

少し時間を取って、自分のサイトのrobots.txtファイルを表示します。

空のファイルまたは404を見つけた場合は、それを修正する必要があります。

有効なファイルが見つかった場合は、おそらく、作成時に作成されたデフォルト設定に設定されています。

他のサイトのrobots.txtファイルを見るこの方法が特に好きです。 robots.txtの詳細を学んだら、これは貴重な演習になる可能性があります。

次に、robots.txtファイルを実際に変更する方法を見てみましょう。

robots.txtを見つけるfile

次のステップはすべて、robots.txtファイルがあるかどうかによって異なります。 （上記の方法を使用して行うかどうかを確認してください。）

robots.txtファイルがない場合は、最初から作成する必要があります。メモ帳（Windows）やテキストエディット（Mac）などのプレーンテキストエディタを開きます。

これにはプレーンテキストエディタのみを使用してください。 Microsoft Wordなどのプログラムを使用している場合、プログラムはテキストに追加のコードを挿入する可能性があります。

Editpad.orgは優れた無料オプションであり、この記事で使用しているのはそれです。

robots.txtに戻ります。 robots.txtファイルがある場合は、サイトのルートディレクトリに配置する必要があります。

ソースコードをいじくり回すのに慣れていない場合は、少し難しいかもしれません。 robots.txtファイルの編集可能なバージョンを見つけます。

通常、ルートディレクトリを見つけるには、ホスティングアカウントのウェブサイトにアクセスしてログインし、サイトのファイル管理またはFTPセクションに移動します。

次のようなメッセージが表示されます。

robots.txtファイルを見つけて、開きます。編集用です。すべてのテキストを削除しますが、ファイルは保持します。

注：WordPressを使用している場合、yoursite.com / robots.txtにアクセスするとrobots.txtファイルが表示されることがありますが、勝ちました。ファイルでそれを見つけることができません。

これは、ルートディレクトリにrobots.txtがない場合、WordPressが仮想robots.txtファイルを作成するためです。

これが発生した場合新しいrobots.txtファイルを作成する必要があります。

robots.txtファイルの作成

プレーンテキストを使用して、新しいrobots.txtファイルを作成できます。お好みのエディター。 （プレーンテキストエディタのみを使用することを忘れないでください。）

すでにrobots.txtファイルがある場合は、テキストを削除したことを確認してください（ファイルは削除していません）。

まず、robots.txtファイルで使用されている構文のいくつかに精通する必要があります。

Googleには、robots.txtの基本的な用語についてのわかりやすい説明があります。

簡単なrobot.txtファイルを設定する方法を示してから、それをカスタマイズする方法を見ていきます。 SEO。

ユーザーエージェント用語を設定することから始めます。すべてのWebロボットに適用されるように設定します。

これを行うには、次のように、ユーザーエージェント用語の後にアスタリスクを使用します。

次に、「Disallow：」と入力しますが、その後は何も入力しないでください。

許可されなかった後は何もないため、Webロボットはサイト全体をクロールするように指示されます。現在、サイト上のすべてが公正なゲームです。

これまでのところ、robots.txtファイルは次のようになります。

非常にシンプルに見えることはわかっていますが、これら2行はすでに多くのことを行っています。

XMLサイトマップにリンクすることもできますが、必須ではありません。必要に応じて、次のように入力します。

信じられないかもしれませんが、これは基本的なrobots.txtファイルの外観です。

それでは、次のレベルに進み、この小さなファイルをSEOブースターに変えましょう。

SEO用にrobots.txtを最適化する

robots.txtを最適化する方法は、すべてcによって異なります。あなたがあなたのサイトに持っている意図。 robots.txtを活用するには、さまざまな方法があります。

最も一般的な使用方法をいくつか紹介します。

（ robots.txtを使用して検索エンジンからのページをブロックしないでください。これは大したことではありません。）

robots.txtファイルの最適な使用法の1つは、検索エンジンのクロール予算を最大化することです。公開されていないサイトの部分をクロールしないようにします。

たとえば、このサイトのrobots.txtファイル（neilpatel.com）にアクセスすると、次のことがわかります。ログインページ（wp-admin）を禁止します。

そのページはサイトのバックエンドへのログインにのみ使用されるため、 、検索エンジンボットがクロールに時間を浪費することは意味がありません。

（WordPressを使用している場合は、まったく同じ禁止行を使用できます。）

できます同様のディレクティブ（またはコマンド）を使用して、ボットが特定のページをクロールしないようにします。