Alle elsker «hacks.»

Jeg er ikke noe unntak –– Jeg elsker å finne måter å gjøre livet mitt bedre og enklere.

Derfor er teknikken jeg skal fortelle deg om i dag, en av mine absolutte favoritter. et legitimt SEO-hack som du kan begynne å bruke med en gang.

Det er en måte å øke SEO ved å dra nytte av en naturlig del av hvert nettsted som sjelden blir snakket om. Det er ikke vanskelig å implementere det heller. / p>

Det er robots.txt-filen (også kalt protokollen for ekskludering av roboter eller standard).

Denne teeny lille tekstfilen er en del av alle nettsteder på Internett, men de fleste gjør det ikke til og med vite om det.

Det er designet for å fungere med søkemotorer, men overraskende nok er det en kilde til SEO-juice som bare venter på å bli låst opp.

Jeg har sett klient etter klientbøyning bakover og prøver å forbedre SEO. Når jeg forteller dem at de kan redigere en liten tekstfil, de tror meg nesten ikke.

Det er imidlertid mange metoder for å forbedre SEO som ikke er vanskelige eller tidkrevende, og dette er en av dem.

Du trenger ikke trenger ikke ha noen teknisk erfaring for å utnytte kraften til robots.txt. Hvis du finner kildekoden for nettstedet ditt, kan du bruke dette.

Så når du er klar, følg med meg, så viser jeg deg nøyaktig hvordan du endrer opp robots.txt filen slik at søkemotorer vil elske den.

Hvorfor robots.txt-filen er viktig

La oss først se på hvorfor robots.txt-filen i utgangspunktet betyr noe.

Robotene.txt-filen, også kjent som protokollen eller standarden for ekskludering av roboter, er en tekstfil som forteller webroboter (ofte søkemotorer) hvilke sider på nettstedet ditt som skal gjennomsøkes.

Den forteller også webroboter hvilke sider som ikke skal gjennomsøkes.

La oss si at en søkemotor er i ferd med å besøke et nettsted. Før den besøker målsiden, vil den sjekke robots.txt for instruksjoner.

Det finnes forskjellige typer robots.txt-filer, så la oss se på noen forskjellige eksempler på hvordan de ser ut.

La oss si at søkemotoren finner dette eksemplet robots.txt-fil:

Dette er det grunnleggende skjelettet til en robots.txt-fil.

Stjernen etter «user-agent» betyr at robots.txt-filen gjelder for alle web-roboter som besøker nettstedet.

Skråstrek etter «Ikke tillat ”Ber roboten om ikke å besøke noen sider på nettstedet.

Du lurer kanskje på hvorfor noen vil stoppe webroboter fra å besøke nettstedet deres.

Tross alt, en av de viktigste målene med SEO er å få søkemotorer til å gjennomsøke nettstedet ditt enkelt, slik at de øker rangeringen.

Det er her hemmeligheten til dette SEO-hacket kommer inn.

Du har sannsynligvis en mange sider på nettstedet ditt, ikke sant? Selv om du ikke tror du gjør det, sjekk. Du kan bli overrasket.

Hvis en søkemotor gjennomsøker nettstedet ditt, vil det gjennomsøke hver eneste av sidene dine.

Og hvis du har mange sider, vil det ta søkemotoren bot en stund for å gjennomsøke dem, noe som kan ha negative effekter på rangeringen.

Det er fordi Googlebot (Googles søkemotor-bot) har et «gjennomsøkingsbudsjett.»

Dette bryter ned i to deler. Den første er grensen for gjennomsøkingsfrekvens. Slik forklarer Google at:

Den andre delen er krav til gjennomsøking :

I utgangspunktet er gjennomsøkingsbudsjett «antall nettadresser Googlebot kan og vil gjennomsøke.»

Du vil hjelpe Googlebot til å bruke gjennomsøkingsbudsjettet for nettstedet ditt på en best mulig måte. Med andre ord, det burde være å gjennomsøke de mest verdifulle sidene dine.

Det er visse faktorer som ifølge Google «vil påvirke nettstedets gjennomsøking og indeksering negativt.»

Her er disse faktorene:

Så la oss komme tilbake til robots.txt.

Hvis du oppretter den rette robots.txt-siden, kan du fortelle søkemotorbots (og spesielt Googlebot) om å unngå bestemte sider.

Tenk på implikasjonene. Hvis du ber søkemotorbots om å bare gjennomsøke det mest nyttige innholdet ditt, vil bots gjennomsøk og indekser nettstedet ditt basert på innholdet alene.

Som Google uttrykker det:

«Du vil ikke at serveren din skal bli overveldet av Googles søkerobot eller å kaste bort gjennomsøkingsbudsjettgjennomgang. uviktige eller lignende sider på nettstedet ditt. ”

Ved å bruke robots.txt på riktig måte, kan du be søkemotroboter om å bruke gjennomsøkingsbudsjettene med omhu. Og det er det som gjør robots.txt-filen så nyttig i en SEO-kontekst.

Fengslet av kraften til robots.txt?

Du burde være! La oss snakke om hvordan du finner og bruker den.

Finne robots.txt-filen

Hvis du bare vil se raskt på robots.txt-filen din, er det en veldig enkel måte å se den.

Denne metoden vil faktisk fungere for alle nettsteder. Så du kan kikke på filene til andre nettsteder og se hva de gjør.

En av tre situasjoner vil skje:

1) Du finner roboter.txt-fil.

2) Du finner en tom fil.

For eksempel Disney ser ut til å mangle en robots.txt-fil:

3) Du får en 404.

Metode returnerer en 404 for robots.txt:

Ta et øyeblikk og se robots.txt-filen på ditt eget nettsted.

Hvis du finner en tom fil eller en 404, vil du fikse det.

Hvis du finner en gyldig fil, er den sannsynligvis satt til standardinnstillinger som ble opprettet da du laget nettstedet ditt.

Jeg liker spesielt denne metoden for å se på robots.txt-filer fra andre nettsteder. Når du først har lært inn og ut av robots.txt, kan dette være en verdifull øvelse.

La oss nå se på å endre robots.txt-filen.

Finne robots.txt fil

Dine neste trinn vil alle avhenge av om du har en robots.txt-fil eller ikke. (Sjekk om du gjør det ved å bruke metoden beskrevet ovenfor.)

Hvis du ikke har en robots.txt-fil, må du opprette en fra bunnen av. Åpne en ren tekstredigerer som Notisblokk (Windows) eller TextEdit (Mac.)

Bruk bare en ren tekstredigerer for dette. Hvis du bruker programmer som Microsoft Word, kan programmet sette inn ekstra kode i teksten.

Editpad.org er et flott gratis alternativ, og det er det du ser meg bruke i denne artikkelen.

Tilbake til robots.txt. Hvis du har en robots.txt-fil, må du finne den i nettstedets rotkatalog.

Hvis du ikke er vant til å pikke rundt i kildekoden, kan det være litt vanskelig å finn den redigerbare versjonen av robots.txt-filen.

Vanligvis kan du finne rotkatalogen din ved å gå til webområdet til vertskontoen, logge på og gå til filadministrasjons- eller FTP-delen av nettstedet ditt.

Du bør se noe som ser slik ut:

Finn robots.txt-filen din og åpne det for redigering. Slett all teksten, men behold filen.

Merk: Hvis du bruker WordPress, ser du kanskje en robots.txt-fil når du går til yoursite.com/robots.txt, men du vant kan ikke finne den i filene dine.

Dette skyldes at WordPress oppretter en virtuell robots.txt-fil hvis det ikke er noen robots.txt i rotkatalogen.

Hvis dette skjer for deg, må du opprette en ny robots.txt-fil.

Opprette en robots.txt-fil

Du kan opprette en ny robots.txt-fil ved å bruke ren tekst redaktør du ønsker. (Husk, bruk bare redigeringsprogram for ren tekst.)

Hvis du allerede har en robots.txt-fil, må du sørge for at du har slettet teksten (men ikke filen).

Først må du bli kjent med noen av syntaksen som brukes i en robots.txt-fil.

Google har en fin forklaring på noen grunnleggende robots.txt-termer:

Jeg skal vise deg hvordan du konfigurerer en enkel robot.txt-fil, og så tar vi en titt på hvordan du kan tilpasse den til SEO.

Start med å angi termen brukeragent. Vi skal sette det slik at det gjelder alle nettroboter.

Gjør dette ved å bruke en stjerne etter brukeragentuttrykket, slik:

Skriv deretter «Disallow:», men ikke skriv noe etter det.

Siden det ikke er noe etter avvisningen, vil webroboter bli bedt om å gjennomsøke hele nettstedet ditt. Akkurat nå er alt på nettstedet ditt rettferdig spill.

Så langt er robots.txt filen skal se slik ut:

Jeg vet at den ser superenkel ut, men disse to linjene gjør allerede mye.

Du kan også koble til XML-nettstedskartet ditt, men det er ikke nødvendig. Hvis du vil, kan du skrive her:

Tro det eller ei, slik ser en grunnleggende robots.txt-fil ut.

La oss nå ta det til neste nivå og gjøre denne lille filen om til en SEO-booster.

Optimalisering av robots.txt for SEO

Hvordan du optimaliserer robots.txt, avhenger av c det du har på nettstedet ditt. Det er alle mulige måter å bruke robots.txt til din fordel.

Jeg går gjennom noen av de vanligste måtene å bruke den på.

(Husk at du bør ikke bruke robots.txt for å blokkere sider fra søkemotorer. Det er et stort nei-nei.)

En av de beste bruksområdene til robots.txt-filen er å maksimere søkemotorenes gjennomsøkingsbudsjetter ved å fortelle dem å ikke gjennomsøke delene av nettstedet ditt som ikke vises for publikum.

Hvis du for eksempel besøker robots.txt-filen for dette nettstedet (neilpatel.com), vil du se at den tillater ikke påloggingssiden (wp-admin).

Siden siden bare brukes til å logge inn på baksiden av nettstedet , ville det ikke være fornuftig at søkemotroboter kaster bort tiden sin på å gjennomsøke den.

(Hvis du har WordPress, kan du bruke den samme eksakte tillatelseslinjen.)

Du kan bruk et lignende direktiv (eller kommando) for å forhindre at roboter gjennomsøker bestemte sider.