Iedereen houdt van “hacks”.

Ik ben geen uitzondering – ik vind het heerlijk om manieren te vinden om mijn leven beter en gemakkelijker te maken.

Daarom is de techniek waarover ik je vandaag ga vertellen een van mijn absolute favorieten. een legitieme SEO-hack die u meteen kunt gebruiken.

Het is een manier om uw SEO te vergroten door gebruik te maken van een natuurlijk onderdeel van elke website waarover zelden wordt gesproken. Het is ook niet moeilijk om te implementeren.

Het is het robots.txt-bestand (ook wel het robots-uitsluitingsprotocol of -standaard genoemd).

Dit piepkleine tekstbestand maakt deel uit van elke website op internet, maar de meeste mensen niet weet er zelfs van.

Het is ontworpen om met zoekmachines te werken, maar verrassend genoeg is het een bron van SEO-sap dat wacht om te worden ontgrendeld.

Ik heb klant na klant zien buigen achterwaarts proberen om hun SEO te verbeteren. Als ik ze vertel dat ze een klein tekstbestand kunnen bewerken, ze geloven me bijna niet.

Er zijn echter veel methoden om SEO te verbeteren die niet moeilijk of tijdrovend zijn, en dit is er een van.

u hoeft geen technische ervaring te hebben om de kracht van robots.txt te benutten. Als je de broncode voor je website kunt vinden, kun je deze gebruiken.

Dus als je klaar bent, volg me dan, en ik zal je precies laten zien hoe je je robots.txt kunt wijzigen. zodat zoekmachines er dol op zullen zijn.

Waarom het robots.txt-bestand belangrijk is

Laten we eerst eens kijken waarom het robots.txt-bestand in de eerste plaats belangrijk is.

Het robots.txt-bestand, ook wel bekend als het robots-uitsluitingsprotocol of -standaard, is een tekstbestand dat webrobots (meestal zoekmachines) vertelt welke pagina’s op uw site moeten worden gecrawld.

Het vertelt webrobots ook welke pagina’s ze niet moeten crawlen.

Stel dat een zoekmachine op het punt staat een site te bezoeken. Voordat het de doelpagina bezoekt, controleert het de robots.txt op instructies.

Er zijn verschillende soorten robots.txt-bestanden, dus laten we eens kijken naar een paar verschillende voorbeelden van hoe ze eruit zien.

Stel dat de zoekmachine dit voorbeeld robots.txt-bestand vindt:

Dit is het basisskelet van een robots.txt-bestand.

De asterisk achter ‘user-agent’ betekent dat het robots.txt-bestand van toepassing is op alle webrobots die de site bezoeken.

De schuine streep achter ‘Disallow ”Vertelt de robot om geen pagina’s op de site te bezoeken.

Je vraagt je misschien af waarom iemand zou willen voorkomen dat webrobots hun site bezoeken.

Een van de De belangrijkste doelen van SEO zijn om zoekmachines uw site gemakkelijk te laten crawlen, zodat ze uw positie verhogen.

Hier komt het geheim van deze SEO-hack om de hoek kijken.

Waarschijnlijk heb je een veel pagina’s op uw site, toch? Zelfs als je denkt dat je het niet doet, ga dan even kijken. Het zal u misschien verbazen.

Als een zoekmachine uw site crawlt, zal hij al uw pagina’s crawlen.

En als u veel pagina’s heeft, duurt het de zoekmachine bot een tijdje om ze te crawlen, wat een negatief effect kan hebben op uw ranking.

Dat komt omdat Googlebot (de zoekmachine van Google) een “crawlbudget” heeft.

Dit breekt opgesplitst in twee delen. Het eerste is de crawlsnelheidslimiet. Google legt het als volgt uit:

Het tweede deel is de crawlvraag :

In wezen is het crawlbudget “het aantal URL’s dat Googlebot kan en wil crawlen”.

U wilt Googlebot helpen het crawlbudget voor uw site zo goed mogelijk te besteden. Met andere woorden, het zou je meest waardevolle pagina’s moeten crawlen.

Er zijn bepaalde factoren die, volgens Google, “een negatieve invloed hebben op het crawlen en indexeren van een site”.

Hier volgen die factoren:

Laten we dus terugkomen op robots.txt.

Als u de juiste robots.txt-pagina, kunt u bots van zoekmachines (en vooral Googlebot) vertellen om bepaalde pagina’s te vermijden.

Denk na over de implicaties. Als u bots van zoekmachines vertelt om alleen uw meest bruikbare inhoud te crawlen, zullen de bots crawl en indexeer uw site alleen op basis van die inhoud.

Zoals Google het stelt:

“U wilt niet dat uw server wordt overweldigd door de crawler van Google of dat u crawlbudget verkwist. onbelangrijke of vergelijkbare pagina’s op uw site. ”

Door uw robots.txt op de juiste manier te gebruiken, kunt u bots van zoekmachines vertellen dat ze hun crawlbudgetten verstandig moeten besteden. En dat is wat het robots.txt-bestand zo nuttig maakt in een SEO-context.

Geïntrigeerd door de kracht van robots.txt?

Dat zou je moeten zijn! Laten we het hebben over hoe u het kunt vinden en gebruiken.

Uw robots.txt-bestand vinden

Als u snel uw robots.txt-bestand wilt bekijken, is er een supergemakkelijke manier om bekijk het.

In feite werkt deze methode voor elke site. U kunt dus de bestanden van andere sites bekijken en zien wat ze aan het doen zijn.

Een van de drie situaties zal gebeuren:

1) U zult een robots.txt-bestand.

2) U vindt een leeg bestand.

Bijvoorbeeld Disney lijkt een robots.txt-bestand te missen:

3) Je krijgt een 404.

Methode retourneert een 404 voor robots.txt:

Neem even de tijd en bekijk het robots.txt-bestand van je eigen site.

Als je een leeg bestand of een 404 vindt, wil je dat oplossen.

Als je een geldig bestand vindt, is het waarschijnlijk ingesteld op de standaardinstellingen die zijn gemaakt toen je heeft je site gemaakt.

Ik vind deze methode vooral leuk om naar de robots.txt-bestanden van andere sites te kijken. Zodra u de ins en outs van robots.txt kent, kan dit een waardevolle oefening zijn.

Laten we nu eens kijken hoe u uw robots.txt-bestand daadwerkelijk wijzigt.

Uw robots.txt-bestand vinden. bestand

Uw volgende stappen zullen allemaal afhangen van het feit of u al dan niet een robots.txt-bestand heeft. (Controleer of u dit doet door de hierboven beschreven methode te gebruiken.)

Als u geen robots.txt-bestand heeft, moet u er een helemaal zelf maken. Open een platte-teksteditor zoals Kladblok (Windows) of TextEdit (Mac.)

Gebruik hiervoor alleen een platte-teksteditor. Als je programma’s zoals Microsoft Word gebruikt, kan het programma extra code in de tekst invoegen.

Editpad.org is een geweldige gratis optie, en dat is wat je me in dit artikel zult zien gebruiken.

Terug naar robots.txt. Als u een robots.txt-bestand heeft, moet u dit in de hoofdmap van uw site zoeken.

Als u niet gewend bent om in de broncode rond te snuffelen, kan het een beetje moeilijk zijn om zoek de bewerkbare versie van uw robots.txt-bestand.

Gewoonlijk kunt u uw root-directory vinden door naar de website van uw hostingaccount te gaan, in te loggen en naar het bestandsbeheer- of FTP-gedeelte van uw site te gaan.

Je zou iets moeten zien dat er zo uitziet:

Zoek je robots.txt-bestand en open het voor bewerking. Verwijder alle tekst, maar bewaar het bestand.

Opmerking: als u WordPress gebruikt, ziet u mogelijk een robots.txt-bestand wanneer u naar uwsite.com/robots.txt gaat, maar u heeft gewonnen kan het niet vinden in uw bestanden.

Dit komt doordat WordPress een virtueel robots.txt-bestand maakt als er geen robots.txt in de root-directory staat.

Als dit gebeurt voor jou moet je een nieuw robots.txt-bestand maken.

Een robots.txt-bestand maken

Je kunt een nieuw robots.txt-bestand maken door gebruik te maken van de platte tekst redacteur van uw keuze. (Denk eraan, gebruik alleen een editor voor platte tekst.)

Als je al een robots.txt-bestand hebt, zorg er dan voor dat je de tekst hebt verwijderd (maar niet het bestand).

Eerst moet u bekend raken met een deel van de syntaxis die in een robots.txt-bestand wordt gebruikt.

Google heeft een aardige uitleg van enkele standaard robots.txt-termen:

Ik ga je laten zien hoe je een eenvoudig robot.txt-bestand opzet, en dan kijken we hoe je het kunt aanpassen voor SEO.

Begin met het instellen van de user-agent-term. We gaan het zo instellen dat het van toepassing is op alle webrobots.

Doe dit door een asterisk achter de user-agent term te gebruiken, zoals dit:

Typ vervolgens “Disallow:” maar typ daarna niets meer.

Aangezien er niets is na de disallow, zullen webrobots worden doorverwezen om je hele site te crawlen. Op dit moment is alles op je site eerlijk spel.

Tot nu toe is je robots.txt bestand zou er als volgt uit moeten zien:

Ik weet dat het er supereenvoudig uitziet, maar deze twee regels doen al veel.

Je kunt ook linken naar je XML-sitemap, maar dat is niet nodig. Als je dat wilt, typ je het volgende:

Geloof het of niet, dit is hoe een standaard robots.txt-bestand eruitziet.

Laten we het nu naar een hoger niveau tillen en dit kleine bestand in een SEO-booster veranderen.

Robots.txt optimaliseren voor SEO

Hoe u robots.txt optimaliseert, hangt allemaal af van de c inhoud die u op uw site heeft. Er zijn allerlei manieren om robots.txt in uw voordeel te gebruiken.

Ik zal enkele van de meest gebruikelijke manieren bespreken om het te gebruiken.

(Houd er rekening mee dat u mag geen robots.txt gebruiken om pagina’s van zoekmachines te blokkeren. Dat is een groot nee-nee.)

Een van de beste toepassingen van het robots.txt-bestand is om het crawlbudget van zoekmachines te maximaliseren door ze te vertellen om de delen van uw site die niet voor het publiek worden weergegeven, niet te crawlen.

Als u bijvoorbeeld het robots.txt-bestand voor deze site (neilpatel.com) bezoekt, ziet u dat het staat de inlogpagina niet toe (wp-admin).

Aangezien die pagina alleen wordt gebruikt om in te loggen op de backend van de site , zou het voor zoekmachinebots geen zin hebben om hun tijd te verspillen met het crawlen ervan.

(Als u WordPress heeft, kunt u precies dezelfde regel gebruiken.)

U kunt gebruik een vergelijkbare instructie (of opdracht) om te voorkomen dat bots specifieke pagina’s crawlen.