Alle elsker “hacks.”

Jeg er ingen undtagelse –– Jeg elsker at finde måder at gøre mit liv bedre og lettere.

Derfor er den teknik, jeg vil fortælle dig om i dag, en af mine absolutte favoritter. et legitimt SEO-hack, som du kan begynde at bruge med det samme.

Det er en måde at øge din SEO på ved at drage fordel af en naturlig del af hvert websted, der sjældent bliver talt om. Det er heller ikke svært at implementere.

Det er robots.txt-filen (kaldes også protokollen eller standarden for ekskludering af robotter).

Denne lille, lille tekstfil er en del af hvert websted på Internettet, men de fleste mennesker gør det ikke endda vide om det.

Det er designet til at arbejde med søgemaskiner, men overraskende nok er det en kilde til SEO-juice, der bare venter på at blive låst op.

Jeg har set klient efter klientbøjning forsøger at forbedre deres SEO. Når jeg fortæller dem, at de kan redigere en lille tekstfil, de tror næsten ikke på mig.

Der er dog mange metoder til forbedring af SEO, der ikke er vanskelige eller tidskrævende, og dette er en af dem.

Du don behøver ikke at have nogen teknisk erfaring for at udnytte kraften i robots.txt. Hvis du kan finde kildekoden til dit websted, kan du bruge denne.

Så når du er klar, følg med mig, så viser jeg dig nøjagtigt, hvordan du ændrer din robots.txt fil, så søgemaskinerne vil elske den.

Hvorfor robots.txt-filen er vigtig

Lad os først se på, hvorfor robots.txt-filen i første omgang betyder noget.

Robotten.txt-filen, også kendt som robottens ekskluderingsprotokol eller standard, er en tekstfil, der fortæller webrobotter (oftest søgemaskiner), hvilke sider på dit websted, der skal crawles.

Det fortæller også webrobotter, hvilke sider der ikke skal gennemgå.

Lad os sige, at en søgemaskine er ved at besøge et websted. Inden den besøger målsiden, kontrollerer den robots.txt for instruktioner.

Der findes forskellige typer robots.txt-filer, så lad os se på et par forskellige eksempler på, hvordan de ser ud.

Lad os sige, at søgemaskinen finder dette eksempel på robots.txt-fil:

Dette er det grundlæggende skelet af en robots.txt-fil.

Stjernen efter “user-agent” betyder, at robots.txt-filen gælder for alle web-robotter, der besøger webstedet.

Skråstreg efter “Disallow” ”Beder robotten om ikke at besøge nogen sider på webstedet.

Du undrer dig måske over, hvorfor nogen vil stoppe webrobotter i at besøge deres side.

Når alt kommer til alt, er en af de hovedmål for SEO er at få søgemaskiner til at gennemgå dit websted let, så de øger din placering.

Det er her, hemmeligheden bag dette SEO-hack kommer ind.

Du har sandsynligvis en mange sider på dit websted, ikke? Selvom du ikke tror, du gør det, skal du tjekke. Du bliver måske overrasket.

Hvis en søgemaskine gennemsøger dit websted, gennemgår den hver eneste af dine sider.

Og hvis du har mange sider, tager det søgemaskine bot et stykke tid for at gennemgå dem, hvilket kan have negative virkninger på din placering.

Det skyldes, at Googlebot (Googles søgemaskine-bot) har et “gennemgangsbudget.”

Dette bryder ned i to dele. Den første er crawlhastighedsgrænse. Sådan forklarer Google, at:

Den anden del er crawl demand :

Grundlæggende er crawlbudget “antallet af webadresser, som Googlebot kan og vil gennemgå.”

Du vil hjælpe Googlebot med at bruge sit gennemgangsbudget til dit websted på den bedst mulige måde. Med andre ord skal det være gennemsøgning af dine mest værdifulde sider.

Der er visse faktorer, der ifølge Google “vil påvirke et websteds gennemgang og indeksering negativt.”

Her er disse faktorer:

Så lad os vende tilbage til robots.txt.

Hvis du opretter det rigtige robots.txt-side, kan du bede søgemaskine-bots (og især Googlebot) om at undgå bestemte sider.

Tænk over konsekvenserne. Hvis du beder søgemaskine-bots om kun at gennemgå dit mest nyttige indhold, vil bots gennemgå og indeksér dit websted udelukkende på baggrund af dette indhold.

Som Google siger:

“Du ønsker ikke, at din server skal blive overvældet af Googles webcrawler eller at spilde gennemsøgningsbudget-crawling uvigtige eller lignende sider på dit websted. ”

Ved at bruge din robots.txt på den rigtige måde kan du bede søgemaskinebots om at bruge deres gennemgangsbudgetter klogt. Og det er det, der gør robots.txt-filen så nyttig i en SEO-kontekst.

Fængslet af kraften fra robots.txt?

Du burde være! Lad os tale om, hvordan du finder og bruger den.

Find din robots.txt-fil

Hvis du bare vil have et hurtigt kig på din robots.txt-fil, er der en super nem måde at se det.

Denne metode fungerer faktisk for ethvert websted. Så du kan kigge på andre websteds filer og se, hvad de laver.

En af tre situationer vil ske:

1) Du finder robotter.txt-fil.

2) Du finder en tom fil.

For eksempel Disney synes at mangle en robots.txt-fil:

3) Du får en 404.

Metode returnerer en 404 for robots.txt:

Tag et øjeblik og se dit eget websides robots.txt-fil.

Hvis du finder en tom fil eller en 404, vil du rette det.

Hvis du finder en gyldig fil, er den sandsynligvis indstillet til standardindstillinger, der blev oprettet, da du lavede dit websted.

Jeg kan især lide denne metode til at se på andre websteds robots.txt-filer. Når du først har lært ind og ud af robots.txt, kan dette være en værdifuld øvelse.

Lad os nu se på faktisk at ændre din robots.txt-fil.

Find din robots.txt fil

Alle dine næste trin afhænger af, om du har en robots.txt-fil eller ej. (Kontroller, om du gør det ved hjælp af metoden beskrevet ovenfor.)

Hvis du ikke har en robots.txt-fil, skal du oprette en fra bunden. Åbn en almindelig teksteditor som Notesblok (Windows) eller TextEdit (Mac.)

Brug kun en almindelig teksteditor til dette. Hvis du bruger programmer som Microsoft Word, kan programmet indsætte yderligere kode i teksten.

Editpad.org er en fantastisk gratis mulighed, og det er det, du ser mig bruge i denne artikel.

Tilbage til robots.txt. Hvis du har en robots.txt-fil, skal du finde den i dit websides rodmappe.

Hvis du ikke er vant til at stikke rundt i kildekoden, kan det være lidt svært at find den redigerbare version af din robots.txt-fil.

Normalt kan du finde din rodmappe ved at gå til dit hostingkonto-websted, logge ind og gå til filadministrations- eller FTP-sektionen på dit websted.

Du skal se noget der ser sådan ud:

Find din robots.txt-fil og åbn det til redigering. Slet al teksten, men behold filen.

Bemærk: Hvis du bruger WordPress, kan du muligvis se en robots.txt-fil, når du går til yoursite.com/robots.txt, men du vandt kan ikke finde det i dine filer.

Dette skyldes, at WordPress opretter en virtuel robots.txt-fil, hvis der ikke er nogen robots.txt i rodmappen.

Hvis dette sker til dig skal du oprette en ny robots.txt-fil.

Oprettelse af en robots.txt-fil

Du kan oprette en ny robots.txt-fil ved hjælp af almindelig tekst redaktør efter eget valg. (Husk, brug kun en almindelig teksteditor.)

Hvis du allerede har en robots.txt-fil, skal du sørge for at have slettet teksten (men ikke filen).

Først skal du gøre dig bekendt med nogle af syntakserne, der bruges i en robots.txt-fil.

Google har en god forklaring på nogle grundlæggende robots.txt-udtryk:

Jeg vil vise dig, hvordan du opretter en simpel robot.txt-fil, og så ser vi på, hvordan vi tilpasser den til SEO.

Start med at indstille brugeragentudtrykket. Vi vil indstille det, så det gælder for alle webrobotter.

Gør dette ved at bruge en stjerne efter bruger-agentudtrykket, som dette:

Skriv derefter “Disallow:”, men skriv ikke noget efter det.

Da der ikke er noget efter afvisningen, bliver webrobotter instrueret til at gennemgå hele dit websted. Lige nu er alt på dit websted retfærdigt spil.

Indtil videre er din robots.txt filen skal se sådan ud:

Jeg ved, at den ser super enkel ud, men disse to linjer gør allerede meget.

Du kan også linke til dit XML-sitemap, men det er ikke nødvendigt. Hvis du vil, skal du her skrive:

Tro det eller ej, sådan ser en grundlæggende robots.txt-fil ud.

Lad os nu tage det til næste niveau og gøre denne lille fil til en SEO-booster.

Optimering af robots.txt til SEO

Hvordan du optimerer robots.txt afhænger alt af c hvis du har på dit websted. Der er alle mulige måder at bruge robots.txt til din fordel.

Jeg gennemgår nogle af de mest almindelige måder at bruge det på.

(Husk at du bør ikke bruge robots.txt til at blokere sider fra søgemaskiner. Det er et stort nej-nej.)

En af de bedste anvendelser af robots.txt-filen er at maksimere søgemaskiners gennemgangsbudgetter ved at fortælle dem for ikke at gennemgå de dele af dit websted, der ikke vises for offentligheden.

Hvis du f.eks. besøger robots.txt-filen for dette websted (neilpatel.com), vil du se at den tillader ikke login-siden (wp-admin).

Da denne side bare bruges til at logge ind på backend af webstedet , ville det ikke være fornuftigt, at bots fra søgemaskiner spilder deres tid på at gennemgå den.

(Hvis du har WordPress, kan du bruge den samme nøjagtige linie til ikke at tillade.)

Du kan Brug et lignende direktiv (eller kommando) for at forhindre bots i at gennemgå bestemte sider.