Toată lumea adoră „hacks”.

Nu fac excepție – îmi place să găsesc modalități de a-mi face viața mai bună și mai ușoară.

De aceea tehnica despre care o să vă spun astăzi este una dintre preferatele mele absolute. un hack SEO legitim pe care îl puteți începe să utilizați imediat.

Este o modalitate de a vă crește SEO-ul profitând de o parte naturală a fiecărui site web despre care rareori se vorbește. Nici nu este dificil de implementat.

Este fișierul robots.txt (denumit și protocol de excludere a robotilor sau standard).

Acest mic fișier text mic face parte din fiecare site web de pe Internet, dar majoritatea oamenilor nu chiar știți despre asta.

Este conceput pentru a funcționa cu motoarele de căutare, dar, în mod surprinzător, este o sursă de suc SEO care așteaptă să fie deblocat.

Am văzut client după client îndoit încearcă să-și îmbunătățească SEO-ul. Când le spun că pot edita un mic fișier text, aproape că nu mă cred.

Cu toate acestea, există multe metode de îmbunătățire a SEO care nu sunt dificile sau consumatoare de timp, iar aceasta este una dintre ele.

Nu Nu trebuie să aveți nicio experiență tehnică pentru a beneficia de puterea robots.txt. Dacă puteți găsi codul sursă pentru site-ul dvs. web, îl puteți folosi.

Deci, când sunteți gata, urmați-mă și vă voi arăta exact cum să vă schimbați robotul.txt fișier, astfel încât motoarele de căutare să le placă.

De ce este important fișierul robots.txt

În primul rând, să aruncăm o privire de ce contează fișierul robots.txt în primul rând.

Fișierul robots.txt, cunoscut și sub numele de protocol sau standard de excludere a roboților, este un fișier text care le spune roboților web (cel mai adesea motoarele de căutare) ce pagini de pe site-ul dvs. trebuie să acceseze cu crawlere.

De asemenea, le spune roboților web ce pagini nu trebuie accesate cu crawlere.

Să presupunem că un motor de căutare este pe cale să viziteze un site. Înainte de a vizita pagina țintă, va verifica instrucțiunile robots.txt.

Există diferite tipuri de fișiere robots.txt, așa că haideți să examinăm câteva exemple diferite de cum arată.

Să presupunem că motorul de căutare găsește acest exemplu de fișier robots.txt:

Acesta este scheletul de bază al un fișier robots.txt.

Asteriscul după „user-agent” înseamnă că fișierul robots.txt se aplică tuturor roboților web care vizitează site-ul.

Bară după „Disallow ”Îi spune robotului să nu viziteze nicio pagină de pe site.

S-ar putea să vă întrebați de ce cineva ar dori să oprească roboții web să-și viziteze site-ul.

La urma urmei, unul dintre obiectivele majore ale SEO este de a face ca motoarele de căutare să acceseze cu crawlere site-ul dvs. cu ușurință, astfel încât să vă mărească clasamentul.

Aici intervine secretul acestui hack SEO.

Probabil că aveți un multe pagini de pe site-ul dvs., nu? Chiar dacă nu credeți că da, mergeți să verificați. S-ar putea să fiți surprins.

Dacă un motor de căutare accesează cu crawlere site-ul dvs., acesta va accesa cu crawlere fiecare dintre paginile dvs.

Și dacă aveți multe pagini, va lua un motor de căutare pentru o perioadă de timp pentru a le accesa cu crawlere, ceea ce poate avea efecte negative asupra clasamentului dvs.

Acest lucru se datorează faptului că Googlebot (robotul de căutare al Google) are un „buget de accesare cu crawlere”.

în două părți. Prima este limita ratei de accesare cu crawlere. Iată cum explică Google că:

A doua parte este cererea de accesare cu crawlere :

Practic, bugetul pentru accesarea cu crawlere este „numărul de adrese URL pe care Googlebot le poate și dorește să le acceseze cu crawlere”.

Doriți să ajutați Googlebot să își cheltuiască bugetul de accesare cu crawlere pentru site-ul dvs. în cel mai bun mod posibil. Cu alte cuvinte, ar trebui să fie accesarea cu crawlere a celor mai valoroase pagini ale dvs.

Există anumiți factori care, potrivit Google, „vor afecta negativ accesarea cu crawlere și indexarea unui site”.

Iată acești factori:

Deci, să revenim la robots.txt.

Dacă creați dreptul pagină robots.txt, puteți spune roboților motorului de căutare (și în special Googlebot) să evite anumite pagini.

Gândiți-vă la implicații. Dacă le spuneți roboților motorului de căutare să acceseze cu crawlere numai conținutul dvs. cel mai util, botii vor accesează cu crawlere și indexează-ți site-ul numai pe baza conținutului respectiv.

După cum spune Google:

„Nu vrei ca serverul tău să fie copleșit de crawlerul Google sau să risipească bugetul de crawlere cu crawlere pagini neimportante sau similare de pe site-ul dvs. ”

Prin utilizarea robotului dvs. în modul corect, puteți spune roboților motoarelor de căutare să își cheltuiască bugetele cu crawlere cu înțelepciune. Și asta face ca fișierul robots.txt să fie atât de util într-un context SEO.

Intrigat de puterea robots.txt?

Ar trebui să fii! Să vorbim despre cum să îl găsiți și să îl utilizați.

Găsirea fișierului robots.txt

Dacă doriți doar o privire rapidă asupra fișierului robots.txt, există o modalitate foarte ușoară de a vizualizați-l.

De fapt, această metodă va funcționa pentru orice site. Astfel, puteți să aruncați o privire pe fișierele altor site-uri și să vedeți ce fac.

Una dintre cele trei situații se va întâmpla:

1) Veți găsi un robot.fișier txt.

2) Veți găsi un fișier gol.

De exemplu, Disney pare să lipsească un fișier robots.txt:

3) Veți obține un 404.

Metoda returnează un 404 pentru robots.txt:

Luați o secundă și vizualizați fișierul robots.txt al propriului site.

Dacă găsiți un fișier gol sau un 404, veți dori să remediați acest lucru.

Dacă găsiți un fișier valid, este probabil setat la setările implicite care au fost create atunci când a creat site-ul dvs.

Îmi place în special această metodă pentru a căuta fișierele robots.txt ale altor site-uri. Odată ce ați aflat detaliile robotului.txt, acesta poate fi un exercițiu valoros.

Acum să analizăm schimbarea efectivă a fișierului robots.txt.

Găsirea robotului.txt file

Pașii următori vor depinde de faptul dacă aveți sau nu un fișier robots.txt. (Verificați dacă faceți acest lucru folosind metoda descrisă mai sus.)

Dacă nu aveți un fișier robots.txt, va trebui să creați unul de la zero. Deschideți un editor de text simplu, cum ar fi Notepad (Windows) sau TextEdit (Mac.)

Utilizați doar un editor de text simplu pentru aceasta. Dacă utilizați programe precum Microsoft Word, programul ar putea introduce cod suplimentar în text.

Editpad.org este o opțiune gratuită excelentă și asta este ceea ce mă veți folosi în acest articol.

Înapoi la robots.txt. Dacă aveți un fișier robots.txt, va trebui să îl localizați în directorul rădăcină al site-ului dvs.

Dacă nu sunteți obișnuiți să vă plimbați în codul sursă, atunci ar putea fi puțin dificil să găsiți versiunea editabilă a fișierului robots.txt.

De obicei, puteți găsi directorul rădăcină accesând site-ul web al contului de găzduire, conectându-vă și îndreptându-vă către secțiunea de gestionare a fișierelor sau FTP a site-ului dvs.

Ar trebui să vedeți ceva care arată astfel:

Găsiți fișierul robots.txt și deschideți pentru editare. Ștergeți tot textul, dar păstrați fișierul.

Notă: dacă utilizați WordPress, este posibil să vedeți un fișier robots.txt când accesați site-ul dvs. site.com/robots.txt, dar ați câștigat Nu îl puteți găsi în fișierele dvs.

Acest lucru se datorează faptului că WordPress creează un fișier virtual robots.txt dacă nu există robots.txt în directorul rădăcină.

Dacă se întâmplă acest lucru pentru dvs., va trebui să creați un nou fișier robots.txt.

Crearea unui fișier robots.txt

Puteți crea un nou fișier robots.txt utilizând textul simplu editor la alegere. (Rețineți, utilizați doar un editor de text simplu.)

Dacă aveți deja un fișier robots.txt, asigurați-vă că ați șters textul (dar nu fișierul).

Mai întâi, va trebui să vă familiarizați cu o parte din sintaxa utilizată într-un fișier robots.txt.

Google are o explicație plăcută a unor termeni de bază robots.txt:

Vă voi arăta cum să configurați un fișier robot.txt simplu și apoi vom arunca o privire la cum să îl personalizați pentru SEO.

Începeți prin setarea termenului utilizator-agent. Îl vom seta astfel încât să se aplice tuturor roboților web.

Faceți acest lucru folosind un asterisc după termenul agent-utilizator, astfel:

Apoi, tastați „Disallow:”, dar nu tastați nimic după aceea.

Deoarece nu mai este nimic după respingere, roboții web vor fi direcționați să acceseze cu crawlere întregul dvs. site. În acest moment, totul de pe site-ul dvs. este un joc echitabil.

Până acum, robotul dvs. fișierul ar trebui să arate astfel:

Știu că arată foarte simplu, dar aceste două linii fac deja multe.

De asemenea, puteți să vă conectați la sitemap-ul XML, dar nu este necesar. Dacă doriți, iată ce să tastați:

Credeți sau nu, așa arată un fișier de bază robots.txt.

Acum să-l ducem la nivelul următor și să transformăm acest mic fișier într-un rapel SEO.

Optimizarea robots.txt pentru SEO

Modul în care optimizați robots.txt depinde de c pe care îl aveți pe site-ul dvs. Există tot felul de modalități de a folosi robots.txt în avantajul dvs.

Voi parcurge câteva dintre cele mai comune moduri de utilizare a acestuia.

(Rețineți că dvs. nu ar trebui să folosească robots.txt pentru a bloca paginile de la motoarele de căutare. Este un mare nu.)

Una dintre cele mai bune utilizări ale fișierului robots.txt este de a maximiza bugetele de crawlere ale motoarelor de căutare, spunându-le pentru a nu accesa cu crawlere părțile site-ului dvs. care nu sunt afișate publicului.

De exemplu, dacă vizitați fișierul robots.txt pentru acest site (neilpatel.com), veți vedea că acesta nu permite pagina de conectare (wp-admin).

Deoarece acea pagină este utilizată doar pentru conectarea la backend-ul site-ului , nu ar avea sens ca roboții motoarelor de căutare să-și piardă timpul târându-l.

(Dacă aveți WordPress, puteți utiliza aceeași linie exactă de interzicere.)

Puteți utilizați o directivă (sau comandă) similară pentru a împiedica roboții să acceseze cu crawlere anumite pagini.