Alla älskar ”hack”.

Jag är inget undantag –– Jag älskar att hitta sätt att göra mitt liv bättre och enklare.

Det är därför tekniken jag ska berätta om i dag är en av mina absolut favoriter. ett legitimt SEO-hack som du kan börja använda direkt.

Det är ett sätt att öka din SEO genom att dra nytta av en naturlig del av varje webbplats som sällan pratas om. Det är inte heller svårt att implementera.

Det är robots.txt-filen (kallas även protokollet för robotsekludering eller standard).

Denna lilla lilla textfil är en del av varje webbplats på Internet, men de flesta gör inte känner till och med om det.

Det är utformat för att fungera med sökmotorer, men överraskande är det en källa till SEO-juice som bara väntar på att bli upplåst.

Jag har sett klient efter klientböjning bakåt och försöker förbättra sin SEO. När jag säger till dem att de kan redigera en liten textfil, de tror mig nästan inte.

Det finns dock många metoder för att förbättra SEO som inte är svåra eller tidskrävande, och detta är en av dem.

Du don Du behöver inte ha någon teknisk erfarenhet för att utnyttja kraften i robots.txt. Om du hittar källkoden för din webbplats kan du använda den här.

Så när du är redo följer du med mig så visar jag dig exakt hur du ändrar din robots.txt fil så att sökmotorerna kommer att älska den.

Varför robots.txt-filen är viktig

Låt oss först titta på varför robots.txt-filen i första hand betyder något.

Roboten.txt-filen, även känd som protokoll eller standard för uteslutning av robotar, är en textfil som berättar webbrobotar (oftast sökmotorer) vilka sidor på din webbplats som ska genomsökas. p> Det berättar också webbrobotar vilka sidor som inte ska genomsökas.

Låt oss säga att en sökmotor håller på att besöka en webbplats. Innan den besöker målsidan kommer den att kontrollera robots.txt för instruktioner.

Det finns olika typer av robots.txt-filer, så låt oss titta på några olika exempel på hur de ser ut.

Låt oss säga att sökmotorn hittar det här exemplet robots.txt-fil:

Detta är grundskelettet för en robots.txt-fil.

Asterisken efter ”user-agent” betyder att robots.txt-filen gäller alla webbrobotar som besöker webbplatsen.

Snedstrecket efter ”Tillåt inte ”Säger till roboten att inte besöka några sidor på webbplatsen.

Du kanske undrar varför någon skulle vilja hindra webbrobotar från att besöka deras webbplats.

När allt kommer omkring, en av huvudmål för SEO är att få sökmotorer att genomsöka din webbplats enkelt så att de ökar din ranking.

Det är här hemligheten med detta SEO-hack kommer in.

Du har förmodligen en många sidor på din webbplats, eller hur? Även om du inte tror att du gör det, kolla. Du kan bli förvånad.

Om en sökmotor genomsöker din webbplats kommer den att genomsöka varenda sida.

Och om du har många sidor tar det sökmotorn botar ett tag för att genomsöka dem, vilket kan ha negativa effekter på din ranking.

Det beror på att Googlebot (Googles sökmotorbot) har en ”genomsökningsbudget.”

Detta bryter ner i två delar. Den första är gränsen för genomsökningshastighet. Så här förklarar Google att:

Den andra delen är efterfrågan på genomsökning :

I grund och botten är genomsökningsbudget ”antalet webbadresser som Googlebot kan och vill genomsöka.”

Du vill hjälpa Googlebot att spendera sin genomsökningsbudget för din webbplats på bästa möjliga sätt. Med andra ord bör det genomsöka dina mest värdefulla sidor.

Det finns vissa faktorer som enligt Google ”kommer att påverka webbplatsens genomsökning och indexering negativt.”

Här är dessa faktorer:

Så låt oss komma tillbaka till robots.txt.

Om du skapar rätt robots.txt-sida kan du be sökmotorer (och särskilt Googlebot) att undvika vissa sidor.

Tänk på konsekvenserna. Om du säger att sökmotorbots bara ska genomsöka ditt mest användbara innehåll kommer bots genomsöka och indexera din webbplats utifrån det enbart innehållet.

Som Google uttrycker det:

”Du vill inte att din server ska bli överväldigad av Googles sökrobot eller att slösa bort genomsökningsbudgetgenomgång oviktiga eller liknande sidor på din webbplats. ”

Genom att använda din robots.txt på rätt sätt kan du be sökmotorer att använda sina genomsökningsbudgetar klokt. Och det är det som gör robots.txt-filen så användbar i ett SEO-sammanhang.

Fängslad av roboten.txt?

Du borde vara! Låt oss prata om hur du hittar och använder den.

Hitta din robots.txt-fil

Om du bara vill ha en snabb titt på din robots.txt-fil finns det ett super enkelt sätt att visa den.

Den här metoden fungerar faktiskt för alla webbplatser. Så du kan titta på andra webbplatsers filer och se vad de gör.

En av tre situationer kommer att hända:

1) Du hittar en robot.txt-fil.

2) Du hittar en tom fil.

Till exempel Disney verkar sakna en robots.txt-fil:

3) Du får en 404.

Metod returnerar en 404 för robots.txt:

Ta en sekund och se din egen robots.txt-fil.

Om du hittar en tom fil eller en 404 vill du fixa det.

Om du hittar en giltig fil är den förmodligen inställd på standardinställningar som skapades när du gjorde din webbplats.

Jag gillar särskilt den här metoden för att titta på andra webbplatsers robots.txt-filer. När du väl har lärt dig vad robots.txt är kan det vara en värdefull övning.

Låt oss nu titta på hur du ändrar din robots.txt-fil.

Hitta din robots.txt fil

Alla dina nästa steg beror på om du har en robots.txt-fil eller inte. (Kontrollera om du gör det med metoden som beskrivs ovan.)

Om du inte har en robots.txt-fil måste du skapa en från grunden. Öppna en redigerare för ren text som Anteckningar (Windows) eller TextEdit (Mac.)

Använd bara en vanlig textredigerare för detta. Om du använder program som Microsoft Word kan programmet infoga ytterligare kod i texten.

Editpad.org är ett bra gratis alternativ, och det är vad du ser mig använda i den här artikeln.

Tillbaka till robots.txt. Om du har en robots.txt-fil måste du lokalisera den i din webbplats rotkatalog.

Om du inte är van att peka runt i källkoden kan det vara lite svårt att leta reda på den redigerbara versionen av din robots.txt-fil.

Vanligtvis kan du hitta din rotkatalog genom att gå till din webbhotellwebbplats, logga in och gå till filhanterings- eller FTP-sektionen på din webbplats.

Du borde se något som ser ut så här:

Hitta din robots.txt-fil och öppna det för redigering. Ta bort all text men behåll filen.

Obs! Om du använder WordPress kan du se en robots.txt-fil när du går till yoursite.com/robots.txt, men du vann kan inte hitta den i dina filer.

Detta beror på att WordPress skapar en virtuell robots.txt-fil om det inte finns någon robots.txt i rotkatalogen.

Om detta händer till dig, måste du skapa en ny robots.txt-fil.

Skapa en robots.txt-fil

Du kan skapa en ny robots.txt-fil med vanlig text redaktör efter eget val. (Kom ihåg att bara använda en textredigerare.)

Om du redan har en robots.txt-fil, se till att du har tagit bort texten (men inte filen).

Först måste du bekanta dig med några av syntaxerna som används i en robots.txt-fil.

Google har en bra förklaring av några grundläggande robots.txt-termer:

Jag ska visa dig hur du konfigurerar en enkel robot.txt-fil, och sedan tar vi en titt på hur du anpassar den för SEO.

Börja med att ställa in termen för användaragenten. Vi ska ställa in det så att det gäller alla webbrobotar.

Gör detta genom att använda en asterisk efter användaragenttermen, så här:

Skriv sedan ”Disallow:” men skriv inte något efter det.

Eftersom det inte finns något efter förbjudandet, kommer webbrobotar att instrueras att genomsöka hela din webbplats. Just nu är allt på din webbplats rättvist spel.

Hittills har din robots.txt filen ska se ut så här:

Jag vet att den ser super enkel ut, men dessa två rader gör redan mycket.

Du kan också länka till din XML-webbplatskarta, men det är inte nödvändigt. Om du vill, här är vad du skriver:

Tro det eller inte, så här ser en grundläggande robots.txt-fil ut.

Låt oss nu ta den till nästa nivå och förvandla den här lilla filen till en SEO-booster.

Optimera robots.txt för SEO

Hur du optimerar robots.txt beror allt på c som du har på din webbplats. Det finns alla möjliga sätt att använda robots.txt till din fördel.

Jag går igenom några av de vanligaste sätten att använda den.

(Tänk på att du borde inte använda robots.txt för att blockera sidor från sökmotorer. Det är ett stort nej-nej.)

En av de bästa användningarna av robots.txt-filen är att maximera sökmotorernas genomsökningsbudgetar genom att berätta för dem att inte genomsöka de delar av din webbplats som inte visas för allmänheten.

Om du till exempel besöker robots.txt-filen för den här webbplatsen (neilpatel.com) ser du att den tillåter inte inloggningssidan (wp-admin).

Eftersom den sidan bara används för att logga in på webbplatsens baksida , det vore inte meningsfullt för sökmotorer att slösa bort sin tid på att genomsöka den.

(Om du har WordPress kan du använda samma exakta tillåtna linje.)

Du kan använd ett liknande direktiv (eller kommando) för att förhindra att robotar genomsöker specifika sidor.