Todo mundo adora “hacks”.

Não sou exceção – adoro encontrar maneiras de tornar minha vida melhor e mais fácil.

É por isso que a técnica sobre a qual vou falar hoje é uma das minhas favoritas. um hack legítimo de SEO que você pode começar a usar imediatamente.

É uma forma de aumentar seu SEO aproveitando uma parte natural de cada site que raramente é comentada. Também não é difícil de implementar.

É o arquivo robots.txt (também chamado de protocolo ou padrão de exclusão de robôs).

Este minúsculo arquivo de texto faz parte de todos os sites da Internet, mas a maioria das pessoas não até saber sobre isso.

Ele foi projetado para funcionar com mecanismos de pesquisa, mas, surpreendentemente, é uma fonte de suco de SEO apenas esperando para ser desbloqueado.

Eu vi cliente após cliente dobrar ao invés de tentar melhorar seu SEO. Quando eu digo a eles que podem editar um pequeno arquivo de texto, eles quase não acreditam em mim.

No entanto, existem muitos métodos de melhorar o SEO que não são difíceis nem demorados, e este é um deles.

Você não não é necessário ter nenhuma experiência técnica para aproveitar o poder do robots.txt. Se você conseguir encontrar o código-fonte do seu site, poderá usá-lo.

Então, quando estiver pronto, me acompanhe e mostrarei exatamente como alterar seu robots.txt para que os mecanismos de pesquisa adorem.

Por que o arquivo robots.txt é importante

Primeiro, vamos dar uma olhada em por que o arquivo robots.txt é importante.

O arquivo robots.txt, também conhecido como protocolo ou padrão de exclusão de robôs, é um arquivo de texto que informa aos robôs da web (na maioria das vezes, mecanismos de pesquisa) quais páginas do seu site devem ser rastreadas.

Também informa aos robôs da web quais páginas não devem ser rastreadas.

Digamos que um mecanismo de pesquisa esteja prestes a visitar um site. Antes de visitar a página de destino, ele verificará o robots.txt para obter instruções.

Existem diferentes tipos de arquivos robots.txt, então vamos ver alguns exemplos diferentes de como eles se parecem.

Digamos que o mecanismo de pesquisa encontre este arquivo robots.txt de exemplo:

Este é o esqueleto básico do um arquivo robots.txt.

O asterisco após “user-agent” significa que o arquivo robots.txt se aplica a todos os robôs da web que visitam o site.

A barra após “Disallow ”Diz ao robô para não visitar nenhuma página do site.

Você deve estar se perguntando por que alguém iria querer impedir que robôs da web visitassem seu site.

Afinal, um dos O principal objetivo do SEO é fazer com que os mecanismos de pesquisa rastreiem seu site facilmente para que aumentem sua classificação.

É aí que entra o segredo desse hack de SEO.

Você provavelmente tem um muitas páginas no seu site, certo? Mesmo se você acha que não, vá verificar. Você pode se surpreender.

Se um mecanismo de pesquisa rastrear seu site, ele rastreará cada uma de suas páginas.

E se você tiver muitas páginas, ele levará o o bot do mecanismo de pesquisa demora um pouco para rastreá-los, o que pode ter efeitos negativos na sua classificação.

Isso ocorre porque o Googlebot (o bot do mecanismo de pesquisa do Google) tem um “orçamento de rastreamento”.

dividido em duas partes. A primeira é o limite da taxa de rastreamento. Veja como o Google explica que:

A segunda parte é a demanda do rastreamento :

Basicamente, o orçamento de rastreamento é “o número de URLs que o Googlebot pode e deseja rastrear”.

Você deseja ajudar o Googlebot a gastar seu orçamento de rastreamento para seu site da melhor maneira possível. Em outras palavras, ele deve rastrear suas páginas mais valiosas.

Existem certos fatores que, de acordo com o Google, “afetam negativamente o rastreamento e a indexação de um site”.

Aqui estão esses fatores:

Então, vamos voltar ao robots.txt.

Se você criar o na página do robots.txt, você pode dizer aos bots do mecanismo de pesquisa (e especialmente o Googlebot) para evitar certas páginas.

Pense nas implicações. Se você disser aos bots do mecanismo de pesquisa para rastrear apenas o seu conteúdo mais útil, os bots irão rastreie e indexe seu site com base apenas nesse conteúdo.

Como o Google coloca:

“Você não quer que seu servidor seja sobrecarregado pelo rastreador do Google ou desperdice rastreamento de orçamento de rastreamento páginas sem importância ou semelhantes em seu site. ”

Usando seu robots.txt da maneira certa, você pode dizer aos bots de mecanismos de pesquisa para gastar seus orçamentos de rastreamento com sabedoria. E é isso que torna o arquivo robots.txt tão útil em um contexto de SEO.

Intrigado com o poder do robots.txt?

Você deveria estar! Vamos falar sobre como encontrá-lo e usá-lo.

Encontrar seu arquivo robots.txt

Se você quer apenas dar uma olhada rápida no seu arquivo robots.txt, há uma maneira super fácil de visualize-o.

Na verdade, esse método funcionará para qualquer site. Assim, você pode espiar os arquivos de outros sites e ver o que eles estão fazendo.

Uma das três situações acontecerá:

1) Você encontrará robôs.arquivo txt.

2) Você encontrará um arquivo vazio.

Por exemplo, Disney parece não ter um arquivo robots.txt:

3) Você receberá um 404.

Método retorna um 404 para o robots.txt:

Reserve um segundo e visualize o arquivo robots.txt do seu próprio site.

Se você encontrar um arquivo vazio ou 404, você vai querer consertar isso.

Se você encontrar um arquivo válido, provavelmente ele está definido para as configurações padrão que foram criadas quando você criou seu site.

Gosto especialmente desse método para olhar os arquivos robots.txt de outros sites. Depois de aprender os meandros do robots.txt, este pode ser um exercício valioso.

Agora vamos ver como realmente alterar seu arquivo robots.txt.

Encontrar seu robots.txt. arquivo

As próximas etapas dependerão de você ter ou não um arquivo robots.txt. (Verifique se o faz usando o método descrito acima.)

Se você não tiver um arquivo robots.txt, precisará criar um do zero. Abra um editor de texto simples como o Notepad (Windows) ou TextEdit (Mac.)

Use apenas um editor de texto simples para isso. Se você usar programas como o Microsoft Word, o programa pode inserir código adicional no texto.

Editpad.org é uma ótima opção gratuita e é isso que você me verá usando neste artigo.

Voltar para o robots.txt. Se você tiver um arquivo robots.txt, precisará localizá-lo no diretório raiz do seu site.

Se você não está acostumado a fuçar no código-fonte, pode ser um pouco difícil localize a versão editável de seu arquivo robots.txt.

Normalmente, você pode encontrar seu diretório raiz acessando o site da sua conta de hospedagem, fazendo login e acessando a seção de gerenciamento de arquivos ou FTP do seu site.

Você deve ver algo parecido com isto:

Encontre o seu arquivo robots.txt e abra para edição. Exclua todo o texto, mas mantenha o arquivo.

Observação: se você estiver usando o WordPress, poderá ver um arquivo robots.txt ao acessar seusite.com/robots.txt, mas ganhou não será capaz de encontrá-lo em seus arquivos.

Isso ocorre porque o WordPress cria um arquivo robots.txt virtual se não houver nenhum robots.txt no diretório raiz.

Se isso acontecer para você, você precisará criar um novo arquivo robots.txt.

Criando um arquivo robots.txt

Você pode criar um novo arquivo robots.txt usando o texto simples editor de sua escolha. (Lembre-se, use apenas um editor de texto simples.)

Se você já tem um arquivo robots.txt, certifique-se de ter excluído o texto (mas não o arquivo).

Primeiro, você precisa se familiarizar com algumas das sintaxes usadas em um arquivo robots.txt.

O Google tem uma boa explicação de alguns termos básicos do robots.txt:

Vou mostrar a você como configurar um arquivo robots.txt simples e, em seguida, daremos uma olhada em como personalizá-lo para SEO.

Comece definindo o termo do agente do usuário. Vamos configurá-lo para que se aplique a todos os robôs da web.

Faça isso usando um asterisco após o termo do agente do usuário, como este:

Em seguida, digite “Disallow:”, mas não digite nada depois disso.

Como não há nada após a proibição, os robôs da web serão direcionados para rastrear todo o seu site. No momento, tudo no seu site é válido.

Até agora, o seu robots.txt o arquivo deve ter a seguinte aparência:

Eu sei que parece super simples, mas essas duas linhas já estão fazendo muito.

Você também pode criar um link para seu sitemap XML, mas não é necessário. Se quiser, aqui está o que digitar:

Acredite ou não, essa é a aparência de um arquivo robots.txt básico.

Agora, vamos dar um passo adiante e transformar esse pequeno arquivo em um impulsionador de SEO.

Otimizando o robots.txt para SEO

Como você otimiza o robots.txt tudo depende do c conteúdo que você tem em seu site. Existem todos os tipos de maneiras de usar o robots.txt a seu favor.

Vou repassar algumas das maneiras mais comuns de usá-lo.

(Lembre-se de que você não deve usar o robots.txt para bloquear páginas dos mecanismos de pesquisa. Isso é uma grande proibição.)

Um dos melhores usos do arquivo robots.txt é maximizar os orçamentos de rastreamento dos mecanismos de pesquisa, informando-os para não rastrear as partes do seu site que não são exibidas ao público.

Por exemplo, se você visitar o arquivo robots.txt deste site (neilpatel.com), verá que ele não permite a página de login (wp-admin).

Uma vez que essa página é usada apenas para fazer login no backend do site , não faria sentido para os bots de mecanismos de pesquisa perderem seu tempo rastreando-o.

(Se você tiver o WordPress, pode usar exatamente a mesma linha de proibição.)

Você pode use uma diretiva (ou comando) semelhante para evitar que os bots rastreiem páginas específicas.