Tutti amano gli “hack”.

Non faccio eccezione: adoro trovare modi per rendere la mia vita migliore e più facile.

Ecco perché la tecnica di cui vi parlerò oggi è una delle mie preferite in assoluto. È un hack SEO legittimo che puoi iniziare a utilizzare subito.

È un modo per aumentare il tuo SEO sfruttando una parte naturale di ogni sito web di cui si parla raramente. Non è nemmeno difficile da implementare.

È il file robots.txt (chiamato anche protocollo o standard di esclusione dei robot).

Questo minuscolo file di testo fa parte di ogni sito web su Internet, ma la maggior parte delle persone non lo fa lo so anche.

È progettato per funzionare con i motori di ricerca, ma sorprendentemente è una fonte di succo SEO che aspetta solo di essere sbloccato.

Ho visto clienti piegarsi cercando di migliorare il loro SEO. Quando dico loro che possono modificare un piccolo file di testo, quasi non mi credono.

Tuttavia, ci sono molti metodi per migliorare la SEO che non sono difficili o che richiedono molto tempo, e questo è uno di questi.

Tu non Non è necessaria alcuna esperienza tecnica per sfruttare la potenza di robots.txt. Se riesci a trovare il codice sorgente per il tuo sito web, puoi usarlo.

Quindi, quando sei pronto, seguimi e ti mostrerò esattamente come modificare il tuo file robots.txt in modo che i motori di ricerca lo adorino.

Perché il file robots.txt è importante

Per prima cosa, diamo un’occhiata al motivo per cui il file robots.txt è importante.

Il file robots.txt, noto anche come protocollo o standard di esclusione dei robot, è un file di testo che indica ai robot web (la maggior parte dei motori di ricerca) quali pagine del tuo sito eseguire la scansione.

Indica anche ai robot web quali pagine non sottoporre a scansione.

Supponiamo che un motore di ricerca stia per visitare un sito. Prima di visitare la pagina di destinazione, controllerà il file robots.txt per le istruzioni.

Esistono diversi tipi di file robots.txt, quindi esaminiamo alcuni esempi diversi di come sono.

Supponiamo che il motore di ricerca trovi questo file robots.txt di esempio:

Questo è lo scheletro di base di un file robots.txt.

L’asterisco dopo “user-agent” significa che il file robots.txt si applica a tutti i robot web che visitano il sito.

La barra dopo “Disallow “Dice al robot di non visitare nessuna pagina del sito.

Ci si potrebbe chiedere perché qualcuno vorrebbe impedire ai robot web di visitare il proprio sito.

Dopo tutto, uno dei gli obiettivi principali della SEO è far sì che i motori di ricerca eseguano la scansione del tuo sito facilmente in modo da aumentare il tuo posizionamento.

È qui che entra in gioco il segreto di questo hack SEO.

Probabilmente hai un molte pagine del tuo sito, giusto? Anche se non pensi di farlo, vai a controllare. Potresti essere sorpreso.

Se un motore di ricerca esegue la scansione del tuo sito, eseguirà la scansione di ogni singola pagina.

E se hai molte pagine, ci vorrà bot del motore di ricerca per un po ‘di tempo per eseguirne la scansione, il che può avere effetti negativi sul posizionamento.

Questo perché Googlebot (il bot del motore di ricerca di Google) ha un “budget di scansione”.

in due parti. La prima è il limite della velocità di scansione. Ecco come Google spiega che:

La seconda parte è la domanda di scansione :

Fondamentalmente, il budget di scansione è “il numero di URL che Googlebot può e vuole sottoporre a scansione”.

Desideri aiutare Googlebot a spendere il budget di scansione per il tuo sito nel miglior modo possibile. In altre parole, dovrebbe eseguire la scansione delle tue pagine più preziose.

Ci sono alcuni fattori che, secondo Google, “influenzeranno negativamente la scansione e l’indicizzazione di un sito”.

Ecco questi fattori:

Torniamo quindi al file robots.txt.

Se crei il giusto robots.txt, puoi dire ai bot dei motori di ricerca (e in particolare Googlebot) di evitare determinate pagine.

Pensa alle implicazioni. Se dici ai bot dei motori di ricerca di eseguire la scansione solo dei tuoi contenuti più utili, i bot lo faranno eseguire la scansione e indicizzare il tuo sito solo in base a quel contenuto.

Come dice Google:

“Non vuoi che il tuo server venga sopraffatto dal crawler di Google o che sprechi il budget di scansione per la scansione pagine non importanti o simili sul tuo sito. “

Utilizzando il tuo file robots.txt nel modo giusto, puoi dire ai robot dei motori di ricerca di spendere saggiamente i loro budget di scansione. Ed è questo che rende il file robots.txt così utile in un contesto SEO.

Incuriosito dalla potenza del file robots.txt?

Dovresti esserlo! Parliamo di come trovarlo e utilizzarlo.

Trovare il tuo file robots.txt

Se vuoi solo dare una rapida occhiata al tuo file robots.txt, c’è un modo semplicissimo per visualizzalo.

In effetti, questo metodo funzionerà per qualsiasi sito. Quindi puoi dare un’occhiata ai file di altri siti e vedere cosa stanno facendo.

Si verificherà una delle tre situazioni:

1) Troverai un robot.txt.

2) Troverai un file vuoto.

Ad esempio, Disney sembra mancare di un file robots.txt:

3) Otterrai un 404.

Il metodo restituisce un 404 per robots.txt:

Prenditi un secondo e visualizza il file robots.txt del tuo sito.

Se trovi un file vuoto o un 404, ti consigliamo di risolverlo.

Se trovi un file valido, probabilmente è impostato sulle impostazioni predefinite che sono state create quando hai ha creato il tuo sito.

Mi piace particolarmente questo metodo per guardare i file robots.txt di altri siti. Una volta che hai imparato i dettagli di robots.txt, questo può essere un esercizio prezioso.

Ora vediamo come modificare effettivamente il tuo file robots.txt.

Trovare il tuo file robots.txt file

I passaggi successivi dipenderanno tutti dal fatto che tu abbia o meno un file robots.txt. (Controlla se lo fai utilizzando il metodo descritto sopra.)

Se non hai un file robots.txt, dovrai crearne uno da zero. Apri un editor di testo normale come Blocco note (Windows) o TextEdit (Mac).

Usa solo un editor di testo normale per questo. Se utilizzi programmi come Microsoft Word, il programma potrebbe inserire codice aggiuntivo nel testo.

Editpad.org è un’ottima opzione gratuita, ed è quello che mi vedrai usare in questo articolo.

Torna a robots.txt. Se disponi di un file robots.txt, dovrai individuarlo nella directory principale del tuo sito.

Se non sei abituato a frugare nel codice sorgente, potrebbe essere un po ‘difficile individua la versione modificabile del tuo file robots.txt.

Di solito, puoi trovare la tua directory principale accedendo al sito web del tuo account di hosting, accedendo e andando alla sezione Gestione file o FTP del tuo sito.

Dovresti vedere qualcosa di simile a questo:

Trova il tuo file robots.txt e aprilo per la modifica. Elimina tutto il testo, ma mantieni il file.

Nota: se utilizzi WordPress, potresti vedere un file robots.txt quando vai su yoursite.com/robots.txt, ma hai vinto non riesci a trovarlo nei tuoi file.

Questo perché WordPress crea un file robots.txt virtuale se non c’è robots.txt nella directory principale.

Se questo accade per te, dovrai creare un nuovo file robots.txt.

Creazione di un file robots.txt

Puoi creare un nuovo file robots.txt utilizzando il testo normale editore di tua scelta. (Ricorda, utilizza solo un editor di testo normale.)

Se hai già un file robots.txt, assicurati di aver eliminato il testo (ma non il file).

Innanzitutto, dovrai acquisire familiarità con parte della sintassi utilizzata in un file robots.txt.

Google ha una bella spiegazione di alcuni termini di base del file robots.txt:

Ti mostrerò come impostare un semplice file robot.txt, quindi daremo un’occhiata a come personalizzarlo per SEO.

Inizia impostando il termine user-agent. Lo imposteremo in modo che si applichi a tutti i robot web.

Fallo utilizzando un asterisco dopo il termine user-agent, in questo modo:

Successivamente, digita “Disallow:” ma non digitare nulla dopo.

Poiché non c’è nulla dopo il blocco, i robot web verranno indirizzati alla scansione dell’intero sito. Al momento, tutto sul tuo sito è un gioco leale.

Finora, il tuo file robots.txt il file dovrebbe essere simile a questo:

So che sembra semplicissimo, ma queste due righe stanno già facendo molto.

Puoi anche creare un link alla tua mappa del sito XML, ma non è necessario. Se lo desideri, ecco cosa digitare:

Che tu ci creda o no, questo è l’aspetto di un file robots.txt di base.

Ora portiamolo al livello successivo e trasformiamo questo piccolo file in un potenziatore SEO.

Ottimizzazione del file robots.txt per la SEO

Il modo in cui ottimizzi il file robots.txt dipende tutto dal c ontent che hai sul tuo sito. Esistono tutti i modi per utilizzare il file robots.txt a tuo vantaggio.

Descriverò alcuni dei modi più comuni per utilizzarlo.

(Tieni presente che tu non deve utilizzare robots.txt per bloccare le pagine dai motori di ricerca. È un grande no.)

Uno degli usi migliori del file robots.txt è massimizzare i budget di scansione dei motori di ricerca dicendo loro per non eseguire la scansione delle parti del tuo sito che non vengono visualizzate al pubblico.

Ad esempio, se visiti il file robots.txt per questo sito (neilpatel.com), vedrai che non consente la pagina di accesso (wp-admin).

Poiché quella pagina è usata solo per accedere al backend del sito , non avrebbe senso che i robot dei motori di ricerca perdessero tempo a scansionarlo.

(Se hai WordPress, puoi usare la stessa identica linea di non consentire.)

Puoi utilizzare una direttiva (o comando) simile per impedire ai bot di eseguire la scansione di pagine specifiche.