A todo el mundo le encantan los «trucos».

No soy una excepción: me encanta encontrar formas de hacer mi vida mejor y más fácil.

Es por eso que la técnica que les voy a contar hoy es una de mis favoritas. Es un truco de SEO legítimo que puede comenzar a usar de inmediato.

Es una forma de aumentar su SEO al aprovechar una parte natural de cada sitio web del que rara vez se habla. Tampoco es difícil de implementar.

Es el archivo robots.txt (también llamado protocolo o estándar de exclusión de robots).

Este diminuto archivo de texto forma parte de todos los sitios web de Internet, pero la mayoría de las personas no ni siquiera saberlo.

Está diseñado para funcionar con motores de búsqueda, pero sorprendentemente, es una fuente de energía SEO esperando ser desbloqueada.

He visto cliente tras cliente doblarse al revés tratando de mejorar su SEO. Cuando les digo que pueden editar un pequeño archivo de texto, casi no me creen.

Sin embargo, existen muchos métodos para mejorar el SEO que no son difíciles ni requieren mucho tiempo, y este es uno de ellos.

No No es necesario tener experiencia técnica para aprovechar el poder de robots.txt. Si puede encontrar el código fuente de su sitio web, puede usarlo.

Entonces, cuando esté listo, síganme y le mostraré exactamente cómo cambiar su archivo robots.txt. para que a los motores de búsqueda les encante.

Por qué es importante el archivo robots.txt

Primero, echemos un vistazo a por qué es importante el archivo robots.txt en primer lugar.

El archivo robots.txt, también conocido como protocolo o estándar de exclusión de robots, es un archivo de texto que le dice a los robots web (con mayor frecuencia motores de búsqueda) qué páginas de su sitio deben rastrear.

También le dice a los robots web qué páginas no deben rastrear.

Digamos que un motor de búsqueda está a punto de visitar un sitio. Antes de visitar la página de destino, verificará el archivo robots.txt para obtener instrucciones.

Existen diferentes tipos de archivos robots.txt, así que veamos algunos ejemplos diferentes de cómo se ven.

Digamos que el motor de búsqueda encuentra este archivo robots.txt de ejemplo:

Este es el esqueleto básico de un archivo robots.txt.

El asterisco después de «user-agent» significa que el archivo robots.txt se aplica a todos los robots web que visitan el sitio.

La barra inclinada después de «No permitir ”Le dice al robot que no visite ninguna página del sitio.

Es posible que se pregunte por qué alguien querría evitar que los robots web visiten su sitio.

Después de todo, uno de los Los objetivos principales del SEO es lograr que los motores de búsqueda rastreen su sitio fácilmente para que aumenten su clasificación.

Aquí es donde entra el secreto de este truco SEO.

Probablemente tenga una muchas páginas en su sitio, ¿verdad? Incluso si no cree que lo haga, vaya a comprobarlo. Es posible que se sorprenda.

Si un motor de búsqueda rastrea su sitio, rastreará todas y cada una de sus páginas.

Y si tiene muchas páginas, tomará el bot del motor de búsqueda un tiempo para rastrearlos, lo que puede tener efectos negativos en su clasificación.

Esto se debe a que el robot de Google (el robot del motor de búsqueda de Google) tiene un «presupuesto de rastreo».

Esto rompe en dos partes. La primera es el límite de frecuencia de rastreo. Así es como Google lo explica:

La segunda parte es la demanda de rastreo :

Básicamente, el presupuesto de rastreo es «la cantidad de URL que Googlebot puede y quiere rastrear».

Quiere ayudar al robot de Google a gastar su presupuesto de rastreo en su sitio de la mejor manera posible. En otras palabras, debería rastrear sus páginas más valiosas.

Hay ciertos factores que, según Google, «afectarán negativamente el rastreo y la indexación de un sitio».

A continuación, esos factores:

Así que volvamos a robots.txt.

Si crea el derecho robots.txt, puedes decirle a los robots de los motores de búsqueda (y especialmente al robot de Google) que eviten determinadas páginas.

Piensa en las implicaciones. Si les dices a los robots de los motores de búsqueda que solo rastreen tu contenido más útil, los robots rastrear e indexar su sitio basándose únicamente en ese contenido.

Como dice Google:

«No desea que su servidor se vea abrumado por el rastreador de Google ni desperdicie el rastreo del presupuesto de rastreo páginas sin importancia o similares en su sitio ”.

Al usar su archivo robots.txt de la manera correcta, puede decirle a los robots de los motores de búsqueda que gasten sus presupuestos de rastreo de manera inteligente. Y eso es lo que hace que el archivo robots.txt sea tan útil en un contexto de SEO.

¿Estás intrigado por el poder de robots.txt?

¡Deberías estarlo! Hablemos de cómo encontrarlo y utilizarlo.

Cómo encontrar su archivo robots.txt

Si solo desea echar un vistazo rápido a su archivo robots.txt, existe una forma muy sencilla de verlo.

De hecho, este método funcionará para cualquier sitio. Para que pueda echar un vistazo a los archivos de otros sitios y ver lo que están haciendo.

Sucederá una de estas tres situaciones:

1) Encontrará un robot.txt.

2) Encontrarás un archivo vacío.

Por ejemplo, Disney parece carecer de un archivo robots.txt:

3) Obtendrá un 404.

El método devuelve un 404 para robots.txt:

Tómese un segundo y vea el archivo robots.txt de su propio sitio.

Si encuentra un archivo vacío o un 404, querrá arreglarlo.

Si encuentra un archivo válido, probablemente esté configurado con la configuración predeterminada que se creó cuando creado su sitio.

Me gusta especialmente este método para buscar archivos robots.txt de otros sitios. Una vez que aprenda los entresijos de robots.txt, este puede ser un ejercicio valioso.

Ahora veamos cómo cambiar su archivo robots.txt.

Encontrar su archivo robots.txt archivo

Tus próximos pasos dependerán de si tienes o no un archivo robots.txt. (Compruebe si lo tiene utilizando el método descrito anteriormente).

Si no tiene un archivo robots.txt, deberá crear uno desde cero. Abra un editor de texto sin formato como el Bloc de notas (Windows) o TextEdit (Mac).

Utilice solo un editor de texto sin formato para esto. Si usa programas como Microsoft Word, el programa podría insertar código adicional en el texto.

Editpad.org es una excelente opción gratuita, y eso es lo que me verá usando en este artículo.

Volver a robots.txt. Si tiene un archivo robots.txt, deberá ubicarlo en el directorio raíz de su sitio.

Si no está acostumbrado a hurgar en el código fuente, entonces puede ser un poco difícil localice la versión editable de su archivo robots.txt.

Por lo general, puede encontrar su directorio raíz yendo al sitio web de su cuenta de alojamiento, iniciando sesión y dirigiéndose a la sección de administración de archivos o FTP de su sitio.

Debería ver algo parecido a esto:

Busque su archivo robots.txt y abra para editarlo. Elimine todo el texto, pero conserve el archivo.

Nota: si usa WordPress, es posible que vea un archivo robots.txt cuando vaya a yoursite.com/robots.txt, pero ganó no podrá encontrarlo en sus archivos.

Esto se debe a que WordPress crea un archivo robots.txt virtual si no hay un archivo robots.txt en el directorio raíz.

Si esto sucede para usted, deberá crear un nuevo archivo robots.txt.

Creación de un archivo robots.txt

Puede crear un nuevo archivo robots.txt utilizando el texto sin formato editor de su elección. (Recuerde, use solo un editor de texto sin formato).

Si ya tiene un archivo robots.txt, asegúrese de haber eliminado el texto (pero no el archivo).

Primero, deberá familiarizarse con parte de la sintaxis utilizada en un archivo robots.txt.

Google tiene una buena explicación de algunos términos básicos de robots.txt:

Voy a mostrarle cómo configurar un archivo robot.txt simple, y luego veremos cómo personalizarlo para SEO.

Empiece por establecer el término de agente de usuario. Lo configuraremos para que se aplique a todos los robots web.

Haga esto usando un asterisco después del término de agente de usuario, como este:

A continuación, escriba «Disallow:» pero no escriba nada después de eso.

Dado que no hay nada después de la denegación, los robots web serán dirigidos a rastrear todo su sitio. En este momento, todo en su sitio es un juego limpio.

Hasta ahora, su archivo robots.txt El archivo debería verse así:

Sé que parece muy simple, pero estas dos líneas ya están haciendo mucho.

También puede vincular a su mapa del sitio XML, pero no es necesario. Si lo desea, esto es lo que debe escribir:

Lo crea o no, así es como se ve un archivo robots.txt básico.

Ahora llevémoslo al siguiente nivel y convierta este pequeño archivo en un potenciador de SEO.

Optimización de robots.txt para SEO

La forma de optimizar robots.txt depende de c ontent que tiene en su sitio. Hay todo tipo de formas de utilizar robots.txt a su favor.

Voy a repasar algunas de las formas más habituales de utilizarlo.

(Tenga en cuenta que no debería usar robots.txt para bloquear páginas de los motores de búsqueda. Eso es un gran no-no.)

Uno de los mejores usos del archivo robots.txt es maximizar los presupuestos de rastreo de los motores de búsqueda diciéndoles para no rastrear las partes de su sitio que no se muestran al público.

Por ejemplo, si visita el archivo robots.txt de este sitio (neilpatel.com), verá que no permite la página de inicio de sesión (wp-admin).

Dado que esa página solo se usa para iniciar sesión en el backend del sitio , no tendría sentido que los robots de los motores de búsqueda perdieran el tiempo rastreándolo.

(Si tiene WordPress, puede usar exactamente la misma línea de rechazo).

Puede use una directiva (o comando) similar para evitar que los bots rastreen páginas específicas.