Jeder liebt „Hacks“.

Ich bin keine Ausnahme – ich liebe es, Wege zu finden, um mein Leben besser und einfacher zu machen.

Deshalb ist die Technik, über die ich Ihnen heute erzählen werde, eine meiner absoluten Favoriten Ein legitimer SEO-Hack, den Sie sofort einsetzen können.

Dies ist eine Möglichkeit, Ihre SEO zu verbessern, indem Sie einen natürlichen Teil jeder Website nutzen, über den selten gesprochen wird. Es ist auch nicht schwierig, ihn zu implementieren.

Es handelt sich um die robots.txt-Datei (auch als Robots-Ausschlussprotokoll oder Standard bezeichnet).

Diese winzige Textdatei ist Teil jeder Website im Internet, die meisten jedoch nicht Ich weiß sogar davon.

Es wurde für die Arbeit mit Suchmaschinen entwickelt, aber überraschenderweise ist es eine Quelle für SEO-Saft, die nur darauf wartet, freigeschaltet zu werden.

Ich habe Kunden nach Kundenbiegungen gesehen über rückwärts versuchen, ihre SEO zu verbessern. Wenn ich ihnen sage, dass sie eine kleine Textdatei bearbeiten können, Sie glauben mir fast nicht.

Es gibt jedoch viele Methoden zur Verbesserung der Suchmaschinenoptimierung, die nicht schwierig oder zeitaufwändig sind, und dies ist eine davon.

Sie tun es nicht Sie benötigen keine technische Erfahrung, um die Leistung von robots.txt zu nutzen. Wenn Sie den Quellcode für Ihre Website finden, können Sie diesen verwenden.

Wenn Sie bereit sind, folgen Sie mir und ich zeige Ihnen genau, wie Sie Ihre robots.txt ändern können Datei, damit Suchmaschinen es lieben.

Warum die robots.txt-Datei wichtig ist

Schauen wir uns zunächst an, warum die robots.txt-Datei überhaupt wichtig ist.

Die robots.txt-Datei, auch als Robots-Ausschlussprotokoll oder Standard bezeichnet, ist eine Textdatei, die Webrobotern (meistens Suchmaschinen) mitteilt, welche Seiten Ihrer Site gecrawlt werden sollen.

Außerdem wird Webrobotern mitgeteilt, welche Seiten nicht gecrawlt werden sollen.

Angenommen, eine Suchmaschine besucht eine Website. Bevor die Zielseite aufgerufen wird, wird in der robots.txt nach Anweisungen gesucht.

Es gibt verschiedene Arten von robots.txt-Dateien. Schauen wir uns also einige verschiedene Beispiele an, wie sie aussehen.

Angenommen, die Suchmaschine findet diese Beispieldatei robots.txt:

Dies ist das Grundgerüst von eine robots.txt-Datei.

Das Sternchen nach „user-agent“ bedeutet, dass die robots.txt-Datei für alle Webroboter gilt, die die Site besuchen.

Der Schrägstrich nach „Disallow“ ”Weist den Roboter an, keine Seiten auf der Site zu besuchen.

Sie fragen sich möglicherweise, warum jemand Webroboter daran hindern möchte, ihre Site zu besuchen.

Immerhin eine der Hauptziel von SEO ist es, Suchmaschinen dazu zu bringen, Ihre Website einfach zu crawlen, damit sie Ihr Ranking verbessern.

Hier kommt das Geheimnis dieses SEO-Hacks ins Spiel.

Sie haben wahrscheinlich eine viele Seiten auf Ihrer Website, richtig? Auch wenn Sie nicht glauben, dass Sie es tun, gehen Sie nachsehen. Sie könnten überrascht sein.

Wenn eine Suchmaschine Ihre Website crawlt, wird jede einzelne Ihrer Seiten gecrawlt.

Und wenn Sie viele Seiten haben, dauert es die Suchmaschinen-Bot eine Weile, um sie zu crawlen, was negative Auswirkungen auf Ihr Ranking haben kann.

Das liegt daran, dass Googlebot (Googles Suchmaschinen-Bot) ein „Crawling-Budget“ hat.

Dies bricht ab Der erste Teil ist die Begrenzung der Durchforstungsrate. So erklärt Google Folgendes:

Der zweite Teil ist die Durchforstungsanforderung :

Das Crawling-Budget ist im Grunde „die Anzahl der URLs, die Googlebot crawlen kann und will“.

Sie möchten Googlebot dabei unterstützen, sein Crawling-Budget für Ihre Website bestmöglich auszugeben. Mit anderen Worten, es sollte das Crawlen Ihrer wertvollsten Seiten sein.

Laut Google gibt es bestimmte Faktoren, die sich „negativ auf das Crawlen und Indizieren einer Website auswirken“.

Hier sind Diese Faktoren:

Kehren wir also zu robots.txt zurück.

Wenn Sie das richtige erstellen Auf der robots.txt-Seite können Sie Suchmaschinen-Bots (und insbesondere Googlebot) anweisen, bestimmte Seiten zu vermeiden.

Denken Sie über die Auswirkungen nach. Wenn Sie Suchmaschinen-Bots anweisen, nur Ihre nützlichsten Inhalte zu crawlen, werden die Bots dies tun Crawlen und indizieren Sie Ihre Website nur anhand dieses Inhalts.

Wie Google es ausdrückt:

„Sie möchten nicht, dass Ihr Server vom Crawler von Google überfordert wird oder das Crawlen des Crawling-Budgets verschwendet unwichtige oder ähnliche Seiten auf Ihrer Website. “

Wenn Sie Ihre robots.txt richtig verwenden, können Sie Suchmaschinen-Bots anweisen, ihre Crawling-Budgets mit Bedacht auszugeben. Und das macht die robots.txt-Datei in einem SEO-Kontext so nützlich.

Fasziniert von der Leistungsfähigkeit von robots.txt?

Das sollten Sie sein! Lassen Sie uns darüber sprechen, wie Sie es finden und verwenden können.

Suchen Ihrer robots.txt-Datei

Wenn Sie nur einen kurzen Blick auf Ihre robots.txt-Datei werfen möchten, gibt es eine super einfache Möglichkeit Zeigen Sie es an.

Tatsächlich funktioniert diese Methode für jede Site. So können Sie einen Blick auf die Dateien anderer Websites werfen und sehen, was sie tun.

Eine von drei Situationen tritt auf:

1) Sie finden einen Roboter.txt-Datei.

2) Sie finden eine leere Datei.

Zum Beispiel Disney Anscheinend fehlt eine robots.txt-Datei:

3) Sie erhalten eine 404.

Die Methode gibt eine 404 für robots.txt zurück:

Nehmen Sie sich eine Sekunde Zeit und sehen Sie sich die robots.txt-Datei Ihrer eigenen Site an.

Wenn Sie eine leere Datei oder eine 404 finden, möchten Sie dies beheben.

Wenn Sie eine gültige Datei finden, werden wahrscheinlich die Standardeinstellungen festgelegt, die bei Ihrer Erstellung erstellt wurden hat Ihre Site erstellt.

Diese Methode gefällt mir besonders, wenn Sie die robots.txt-Dateien anderer Sites anzeigen möchten. Sobald Sie die Vor- und Nachteile von robots.txt kennengelernt haben, kann dies eine wertvolle Übung sein.

Schauen wir uns nun an, wie Sie Ihre robots.txt-Datei tatsächlich ändern.

Suchen Ihrer robots.txt Datei

Ihre nächsten Schritte hängen alle davon ab, ob Sie eine robots.txt-Datei haben oder nicht. (Überprüfen Sie, ob Sie dies tun, indem Sie die oben beschriebene Methode verwenden.)

Wenn Sie keine robots.txt-Datei haben, müssen Sie eine von Grund auf neu erstellen. Öffnen Sie einen Nur-Text-Editor wie Notepad (Windows) oder TextEdit (Mac.)

Verwenden Sie hierfür nur einen Nur-Text-Editor. Wenn Sie Programme wie Microsoft Word verwenden, kann das Programm zusätzlichen Code in den Text einfügen.

Editpad.org ist eine großartige kostenlose Option, die ich in diesem Artikel verwenden werde. P. >

Zurück zu robots.txt. Wenn Sie eine robots.txt-Datei haben, müssen Sie diese im Stammverzeichnis Ihrer Site suchen.

Wenn Sie nicht daran gewöhnt sind, im Quellcode herumzustöbern, ist dies möglicherweise etwas schwierig Suchen Sie die bearbeitbare Version Ihrer robots.txt-Datei.

Normalerweise finden Sie Ihr Stammverzeichnis, indem Sie auf die Website Ihres Hosting-Kontos gehen, sich anmelden und zum Dateiverwaltungs- oder FTP-Bereich Ihrer Website gehen.

Sie sollten etwas sehen, das wie folgt aussieht:

Suchen Sie Ihre robots.txt-Datei und öffnen Sie sie es zum Bearbeiten. Löschen Sie den gesamten Text, aber behalten Sie die Datei.

Hinweis: Wenn Sie WordPress verwenden, wird möglicherweise eine robots.txt-Datei angezeigt, wenn Sie auf Ihre Website.com/robots.txt gehen, aber Sie haben gewonnen Es kann nicht in Ihren Dateien gefunden werden.

Dies liegt daran, dass WordPress eine virtuelle robots.txt-Datei erstellt, wenn sich keine robots.txt im Stammverzeichnis befindet.

In diesem Fall Für Sie müssen Sie eine neue robots.txt-Datei erstellen.

Erstellen einer robots.txt-Datei

Sie können eine neue robots.txt-Datei erstellen, indem Sie den einfachen Text verwenden Herausgeber Ihrer Wahl. (Denken Sie daran, verwenden Sie nur einen Nur-Text-Editor.)

Wenn Sie bereits eine robots.txt-Datei haben, stellen Sie sicher, dass Sie den Text (aber nicht die Datei) gelöscht haben.

Zunächst müssen Sie sich mit der in einer robots.txt-Datei verwendeten Syntax vertraut machen.

Google bietet eine nette Erklärung einiger grundlegender robots.txt-Begriffe:

Ich werde Ihnen zeigen, wie Sie eine einfache robot.txt-Datei einrichten, und dann werden wir uns ansehen, wie Sie sie anpassen können SEO.

Legen Sie zunächst den User-Agent-Begriff fest. Wir werden es so einstellen, dass es für alle Webroboter gilt.

Verwenden Sie dazu ein Sternchen nach dem Benutzeragentenbegriff wie folgt:

Geben Sie als Nächstes „Disallow:“ ein, aber geben Sie danach nichts mehr ein.

Da es nach dem Verbot nichts mehr gibt, werden Webroboter angewiesen, Ihre gesamte Website zu crawlen. Im Moment ist alles auf Ihrer Website ein faires Spiel.

Bisher ist Ihre robots.txt Die Datei sollte folgendermaßen aussehen:

Ich weiß, dass sie sehr einfach aussieht, aber diese beiden Zeilen tun bereits viel.

Sie können auch eine Verknüpfung zu Ihrer XML-Sitemap herstellen, dies ist jedoch nicht erforderlich. Wenn Sie möchten, geben Sie Folgendes ein:

Ob Sie es glauben oder nicht, so sieht eine einfache robots.txt-Datei aus.

Nun bringen wir sie auf die nächste Ebene und verwandeln diese kleine Datei in einen SEO-Booster.

Optimierung von robots.txt für SEO

Wie Sie robots.txt optimieren, hängt alles von c ab Inhalt, den Sie auf Ihrer Website haben. Es gibt verschiedene Möglichkeiten, robots.txt zu Ihrem Vorteil zu nutzen.

Ich werde einige der gebräuchlichsten Verwendungsmöglichkeiten erläutern.

(Denken Sie daran, dass Sie sollte robots.txt nicht verwenden, um Seiten von Suchmaschinen zu blockieren. Das ist ein großes Nein-Nein.)

Eine der besten Verwendungsmöglichkeiten der robots.txt-Datei besteht darin, das Crawling-Budget von Suchmaschinen zu maximieren, indem Sie es ihnen mitteilen Um die Teile Ihrer Site nicht zu crawlen, die nicht öffentlich angezeigt werden.

Wenn Sie beispielsweise die robots.txt-Datei für diese Site (neilpatel.com) besuchen, werden Sie feststellen, dass dies der Fall ist verbietet die Anmeldeseite (wp-admin).

Da diese Seite nur zum Anmelden im Backend der Site verwendet wird Für Suchmaschinen-Bots wäre es nicht sinnvoll, ihre Zeit damit zu verschwenden, sie zu crawlen.

(Wenn Sie WordPress haben, können Sie genau diese Zeile verwenden, die nicht zulässig ist.)

Sie können Verwenden Sie eine ähnliche Anweisung (oder einen ähnlichen Befehl), um zu verhindern, dass Bots bestimmte Seiten crawlen.