Kaikki rakastavat hakkerointia.

En ole poikkeus – rakastan löytää tapoja tehdä elämästäni parempaa ja helpompaa.

Siksi tekniikka, josta kerron sinulle tänään, on yksi ehdottomista suosikeistani. laillinen SEO-hakkerointi, jonka voit aloittaa heti.

Se on tapa lisätä hakukoneoptimointiasi hyödyntämällä jokaisen verkkosivuston luonnollinen osa, josta harvoin puhutaan. Kumpikaan ei ole vaikea toteuttaa.

Se on robots.txt-tiedosto (jota kutsutaan myös robottien poissulkemisprotokollaksi tai standardiksi).

Tämä pieni tekstitiedosto on osa kaikkia Internetin verkkosivustoja, mutta useimmat ihmiset eivät edes tietää siitä.

Se on suunniteltu toimimaan hakukoneiden kanssa, mutta yllättäen se on SEO-mehun lähde, joka odottaa vain lukituksen avaamista.

Olen nähnyt asiakkaan asiakkaan taipumisen jälkeen yli taaksepäin yrittäen parantaa hakukoneoptimointia. Kun sanon heille, että he voivat muokata pientä he melkein eivät usko minua.

Hakukoneoptimoinnin parantamiseksi on kuitenkin monia menetelmiä, jotka eivät ole vaikeita tai aikaa vieviä, ja tämä on yksi niistä.

Et halua Minulla ei ole teknistä kokemusta robots.txt-tiedoston hyödyntämiseksi. Jos löydät verkkosivustosi lähdekoodin, voit käyttää sitä.

Joten kun olet valmis, seuraa minua, ja näytän sinulle tarkalleen, miten robots.txt-tiedostosi muutetaan. tiedosto niin, että hakukoneet rakastavat sitä.

Miksi robots.txt-tiedosto on tärkeä

Katsotaan ensin, miksi robots.txt-tiedosto on ensinnäkin merkitystä.

Robots.txt-tiedosto, joka tunnetaan myös nimellä robottien poissulkemisprotokolla tai standardi, on tekstitiedosto, joka kertoo verkkoroboteille (useimmiten hakukoneille), mitkä sivustosi sivut indeksoidaan.

Se kertoo myös robotteille, mitä sivuja ei saa indeksoida.

Oletetaan, että hakukone on vierailemassa sivustolla. Ennen kuin hän vierailee kohdesivulla, se tarkistaa ohjeet robots.txt-tiedostosta.

Robots.txt-tiedostoja on erityyppisiä, joten katsotaanpa joitain erilaisia esimerkkejä niiden ulkoasusta.

Oletetaan, että hakukone löytää tämän robots.txt-tiedoston esimerkin:

Tämä on robots.txt-tiedosto.

Asterisk ”user-agent” jälkeen tarkoittaa, että robots.txt-tiedosto koskee kaikkia sivustossa käyviä verkkorobotteja.

Viiva ”Disallow” jälkeen ”Käskee robotin olemaan käymättä millään sivuston sivuilla.

Saatat miettiä, miksi kukaan haluaisi estää web-robotteja vierailemasta heidän sivustollaan.

Loppujen lopuksi yksi SEO: n päätavoitteena on saada hakukoneet indeksoimaan sivustosi helposti, jotta ne parantavat sijoitustasi.

Tässä on tämän SEO-hakkeroinnin salaisuus.

Sinulla on todennäköisesti paljon sivuja sivustollasi, eikö? Vaikka et usko tekevän, mene tarkista. Saatat olla yllättynyt.

Jos hakukone indeksoi sivustosi, se indeksoi kaikki sivusi.

Ja jos sinulla on paljon sivuja, se vie hakukoneiden robotti indeksoimaan niitä jonkin aikaa, mikä voi vaikuttaa kielteisesti sijoitukseesi.

Tämä johtuu siitä, että Googlebotilla (Googlen hakukoneiden botilla) on indeksointibudjetti.

Tämä rikkoo alas kahteen osaan. Ensimmäinen on indeksointinopeuden rajoitus. Näin Google selittää sen:

Toinen osa on indeksointipyyntö :

Indeksointibudjetti on periaatteessa ”niiden URL-osoitteiden lukumäärä, joita Googlebot voi ja haluaa indeksoida”.

Haluat auttaa Googlebotia käyttämään indeksointibudjettiasi sivustollesi parhaalla mahdollisella tavalla. Toisin sanoen sen pitäisi indeksoida arvokkaimmat sivusi.

Tietyt tekijät vaikuttavat Googlen mukaan ”kielteisesti sivuston indeksointiin”.

Tässä ovat nämä tekijät:

Palataan siis takaisin robots.txt-tiedostoon.

Jos luot oikean robots.txt -sivulla, voit kertoa hakukoneiden robotteille (ja erityisesti Googlebotille) välttääksesi tiettyjä sivuja.

Ajattele seurauksia. Jos käsket hakukoneiden robotteja indeksoimaan vain hyödyllisimmän sisällön, robotit indeksoi sivustosi pelkästään kyseisen sisällön perusteella.

Kuten Google sanoo:

”Et halua, että Googlen indeksointirobotti hukuttaa palvelinta tai tuhlaa indeksointibudjetin indeksointia merkityksettömiä tai vastaavia sivustosi sivuja. ”

Käyttämällä robots.txt-tiedostoa oikealla tavalla voit kertoa hakukoneiden robotteille viettää indeksointibudjettinsa viisaasti. Ja se tekee robots.txt-tiedostosta niin hyödyllisen SEO-yhteydessä.

Kiinnostavatko robots.txt-tiedostot?

Sinun pitäisi olla! Puhutaanpa sen löytämisestä ja käytöstä.

robots.txt-tiedoston etsiminen

Jos haluat vain tarkastella nopeasti robots.txt-tiedostoa, on erittäin helppo tapa tarkastele sitä.

Itse asiassa tämä menetelmä toimii kaikilla sivustoilla. Joten voit kurkistaa muiden sivustojen tiedostoihin ja nähdä, mitä ne tekevät.

Tapahtuu yksi kolmesta tilanteesta:

1) Löydät robotit.txt-tiedosto.

2) Tyhjä tiedosto löytyy.

Esimerkiksi Disney näyttää siltä, ettei siinä ole robots.txt-tiedostoa:

3) Saat 404.

Method palauttaa robots.txt-tiedostolle 404:

Ota hetki ja katso oman sivustosi robots.txt-tiedosto.

Jos löydät tyhjän tiedoston tai 404: n, sinun on korjattava se.

Jos löydät kelvollisen tiedoston, se todennäköisesti asetetaan oletusasetuksiin, jotka luotiin, kun teki sivustosi.

Pidän tästä menetelmästä erityisesti muiden sivustojen robots.txt-tiedostojen tarkastelussa. Kun olet oppinut robots.txt: n hienot yksityiskohdat, tämä voi olla arvokas harjoitus.

Katsotaanpa nyt robots.txt-tiedoston tosiasiallista muuttamista.

robots.txt-tiedoston etsiminen tiedosto

Kaikki seuraavat vaiheesi riippuvat siitä, onko sinulla robots.txt-tiedosto. (Tarkista, käytätkö sitä yllä kuvatulla tavalla.)

Jos sinulla ei ole robots.txt-tiedostoa, sinun on luotava se alusta alkaen. Avaa pelkkätekstieditori, kuten Muistio (Windows) tai TextEdit (Mac.)

Käytä tähän vain pelkkää tekstieditoria. Jos käytät Microsoft Wordin kaltaisia ohjelmia, ohjelma voi lisätä tekstiin ylimääräisen koodin.

Editpad.org on hieno ilmainen vaihtoehto, ja se on se, mitä näet minun käyttävän tässä artikkelissa.

Takaisin kohtaan robots.txt. Jos sinulla on robots.txt-tiedosto, sinun on löydettävä se sivustosi juurihakemistosta.

Jos et ole tottunut lähdekoodissa tunkeutumiseen, se voi olla hieman vaikeaa etsi robots.txt-tiedoston muokattava versio.

Yleensä löydät juurihakemistosi siirtymällä isännöintitilisi verkkosivustolle, kirjautumalla sisään ja siirtymällä sivustosi tiedostojen hallinta- tai FTP-osioon.

Sinun pitäisi nähdä jotain, joka näyttää tältä:

Etsi robots.txt-tiedosto ja avaa se muokattavaksi. Poista koko teksti, mutta säilytä tiedosto.

Huomaa: Jos käytät WordPressiä, saatat nähdä robots.txt-tiedoston, kun menet sivustoosi.com/robots.txt, mutta voitit et löydä sitä tiedostoistasi.

Tämä johtuu siitä, että WordPress luo virtuaalisen robots.txt-tiedoston, jos juurihakemistossa ei ole robots.txt-tiedostoa.

Jos näin tapahtuu sinulle, sinun on luotava uusi robots.txt-tiedosto.

robots.txt-tiedoston luominen

Voit luoda uuden robots.txt-tiedoston käyttämällä pelkkää tekstiä valitsemasi toimittaja. (Muista, että käytä vain pelkkää tekstieditoria.)

Jos sinulla on jo robots.txt-tiedosto, varmista, että olet poistanut tekstin (mutta et tiedostoa).

Ensin sinun on perehdyttävä robots.txt-tiedostossa käytettyyn syntaksiin.

Googlella on hieno selitys joillekin robots.txt-perustermeille:

Näytän sinulle, kuinka yksinkertainen robot.txt-tiedosto asennetaan, ja sitten tarkastelemme, kuinka sitä voidaan mukauttaa Hakukoneoptimointi.

Aloita asettamalla user-agent-termi. Asetamme sen siten, että se koskee kaikkia verkkorobotteja.

Tee tämä käyttämällä tähtiä user-agent-termin jälkeen, kuten tämä:

Kirjoita seuraavaksi ”Estä:”, mutta älä kirjoita mitään sen jälkeen.

Koska kiellon jälkeen ei ole mitään, web-robotit ohjataan indeksoimaan koko sivustosi. Tällä hetkellä kaikki sivustollasi on reilua peliä.

Tähän mennessä robots.txt tiedoston pitäisi näyttää tältä:

Tiedän, että se näyttää erittäin yksinkertaiselta, mutta nämä kaksi riviä tekevät jo paljon.

Voit myös linkittää XML-sivustokartallesi, mutta se ei ole välttämätöntä. Jos haluat, kirjoita tämä:

Uskokaa tai älkää, tältä näyttää robots.txt-perustiedosto.

Siirretään nyt seuraavalle tasolle ja käännetään tämä pieni tiedosto SEO-tehostimeksi.

robots.txt-tiedoston optimointi hakukoneoptimointia varten

robots.txt-tiedoston optimointi riippuu sivustollasi. On olemassa kaikenlaisia tapoja käyttää robots.txt-tiedostoa hyödyksi.

Käyn läpi joitain yleisimpiä tapoja käyttää sitä.

(Muista, että sinä ei pitäisi käyttää robots.txt-tiedostoa estääkseen hakukoneiden sivut. Se on iso ei-ei.)

Yksi robots.txt-tiedoston parhaista käyttötavoista on maksimoida hakukoneiden indeksointibudjetit kertomalla heille jotta et indeksoi sivustosi osia, joita ei näytetä julkisesti.

Jos esimerkiksi vierailet tämän sivuston robots.txt-tiedostossa (neilpatel.com), huomaat, että se ei salli kirjautumissivua (wp-admin).

Koska kyseistä sivua käytetään vain kirjautumiseen sivuston backendiin , ei olisi järkevää, että hakukoneiden robotit tuhlata aikansa indeksoinnissaan.

(Jos sinulla on WordPress, voit käyttää samaa tarkkaa estoriviä.)

Voit käytä vastaavaa direktiiviä (tai komentoa) estääksesi robotteja indeksoimasta tiettyjä sivuja.