Každý má rád hacky. „

Nejsem výjimkou – miluji hledání způsobů, jak mi zlepšit a usnadnit život.

Proto je technika, o které vám dnes povím, jednou z mých absolutních oblíbených. legitimní SEO hack, který můžete hned začít používat.

Je to způsob, jak zvýšit své SEO využitím přirozené součásti každé webové stránky, o které se mluví jen zřídka. Ani to není těžké implementovat.

Je to soubor robots.txt (také nazývaný protokol nebo standard pro vyloučení robotů).

Tento maličký malý textový soubor je součástí každého webu na internetu, ale většina lidí ne dokonce o tom víte.

Je navržen pro práci s vyhledávači, ale překvapivě je to zdroj SEO šťávy, která čeká na odemčení.

Viděl jsem klienta za klientem zpětně se snaží vylepšit své SEO. Když jim řeknu, že mohou upravit malý textový soubor, téměř mi nevěří.

Existuje však mnoho metod vylepšení SEO, které nejsou obtížné ani časově náročné, a toto je jedna z nich.

Aby bylo možné využít sílu souboru robots.txt, nemusíte mít žádné technické zkušenosti. Pokud najdete zdrojový kód svého webu, můžete jej použít.

Takže až budete připraveni, sledujte mě a ukážu vám, jak přesně změnit soubor robots.txt soubor, aby jej vyhledávače milovaly.

Proč je soubor robots.txt důležitý

Nejprve se podívejme na to, proč je soubor robots.txt důležitý.

Soubor robots.txt, známý také jako protokol nebo standard pro vyloučení robotů, je textový soubor, který webovým robotům (nejčastěji vyhledávačům) říká, které stránky na vašem webu mají procházet.

Také říká webovým robotům, které stránky nemají procházet.

Řekněme, že se vyhledávací stroj chystá navštívit web. Než navštíví cílovou stránku, zkontroluje pokyny v souboru robots.txt.

Existují různé typy souborů robots.txt, podívejme se tedy na několik různých příkladů, jak vypadají.

Řekněme, že vyhledávač najde tento příklad souboru robots.txt:

Toto je základní kostra soubor robots.txt.

Hvězdička za „user-agent“ znamená, že soubor robots.txt se vztahuje na všechny webové roboty, které web navštíví.

Lomítko za „Disallow“ ”Říká robotovi, aby nenavštěvoval žádné stránky na webu.

Možná se divíte, proč by někdo chtěl zastavit webové roboty v návštěvě jejich webu.

Koneckonců, jeden z Hlavním cílem SEO je přimět vyhledávače snadno procházet vaše stránky, aby zvýšily vaše hodnocení.

Zde přichází tajemství tohoto hacku SEO.

Pravděpodobně máte spousta stránek na vašem webu, že? I když si to nemyslíte, jděte zkontrolovat. Možná vás překvapí.

Pokud váš web prohledá vyhledávač, bude procházet každou jednu z vašich stránek.

A pokud máte mnoho stránek, bude trvat robota vyhledávače chvíli procházet, což může mít negativní dopad na vaše hodnocení.

Důvodem je to, že Googlebot (robot vyhledávače Google) má „rozpočet procházení“.

To nefunguje dolů na dvě části. První je limit rychlosti procházení. Google vysvětluje, že:

Druhou částí je poptávka po procházení. :

Rozpočet procházení je v zásadě „počet adres URL, které Googlebot může a chce procházet.“

Chcete pomoci robotu Googlebot utratit rozpočet procházení vašeho webu tím nejlepším možným způsobem. Jinými slovy by to mělo být procházení vašich nejcennějších stránek.

Existují určité faktory, které podle Google „negativně ovlivní procházení a indexování webu“.

Zde jsou tyto faktory:

Vraťme se tedy k souboru robots.txt.

Pokud vytvoříte správné Na stránce robots.txt můžete robotům vyhledávačů (a zejména Googlebotovi) říci, aby se některým stránkám vyhýbali.

Zamyslete se nad důsledky. Pokud robotům vyhledávačů řeknete, aby procházeli pouze váš nejužitečnější obsah, roboti procházejte a indexujte své stránky pouze na základě tohoto obsahu.

Jak říká Google:

„Nechcete, aby byl váš server zahlcen prohledávačem Google nebo plýtváním procházením rozpočtu. nedůležité nebo podobné stránky na vašem webu. “

Správným používáním souboru robots.txt můžete robotům vyhledávačů říci, aby rozumně utráceli své rozpočty procházení. A to je důvod, proč je soubor robots.txt v kontextu SEO tak užitečný.

Zajímá vás síla souboru robots.txt?

Měli byste být! Pojďme si promluvit o tom, jak jej najít a používat.

Vyhledání souboru robots.txt

Pokud si chcete jen krátce prohlédnout soubor robots.txt, existuje super snadný způsob zobrazit.

Tato metoda bude ve skutečnosti fungovat pro jakýkoli web. Můžete tedy nahlédnout do souborů jiných webů a zjistit, co dělají.

Nastane jedna ze tří situací:

1) Najdete roboty.Soubor txt.

2) Najdete prázdný soubor.

Například Disney Zdá se, že chybí soubor robots.txt:

3) Získáte 404.

Metoda vrátí 404 pro robots.txt:

Vteřinu si prohlédněte soubor robots.txt na svém webu.

Pokud najdete prázdný soubor nebo 404, budete to chtít opravit.

Pokud najdete platný soubor, je pravděpodobně nastaven na výchozí nastavení, které bylo vytvořeno, když vytvořil váš web.

Tato metoda se mi obzvláště líbí při prohlížení souborů robots.txt na jiných webech. Jakmile se naučíte využívat soubory robots.txt, může to být hodnotné cvičení.

Nyní se podívejme na to, jak skutečně změnit soubor robots.txt.

Vyhledání souboru robots.txt soubor

Vaše další kroky budou záviset na tom, zda máte soubor robots.txt. (Zkontrolujte, zda to děláte, pomocí metody popsané výše.)

Pokud nemáte soubor robots.txt, budete si jej muset vytvořit úplně od začátku. Otevřete editor prostého textu, jako je Poznámkový blok (Windows) nebo TextEdit (Mac.)

K tomu použijte pouze editor prostého textu. Pokud používáte programy jako Microsoft Word, mohl by program do textu vložit další kód.

Editpad.org je skvělá bezplatná volba, a to je to, co mě v tomto článku uvidíte.

Zpět na soubor robots.txt. Pokud máte soubor robots.txt, budete jej muset najít v kořenovém adresáři svého webu.

Pokud nejste zvyklí hrabat se ve zdrojovém kódu, může to být trochu obtížné vyhledejte upravitelnou verzi souboru robots.txt.

Kořenový adresář obvykle najdete tak, že přejdete na web hostujícího účtu, přihlásíte se a přejdete do sekce správy souborů nebo FTP na vašem webu.

Měli byste vidět něco, co vypadá takto:

Najděte soubor robots.txt a otevřete to pro editaci. Smažte celý text, ale soubor si ponechejte.

Poznámka: Pokud používáte WordPress, může se vám na stránce yoursite.com/robots.txt zobrazit soubor robots.txt, ale vyhráli jste Nelze jej najít ve vašich souborech.

Je to proto, že WordPress vytvoří virtuální soubor robots.txt, pokud v kořenovém adresáři není žádný soubor robots.txt.

Pokud k tomu dojde budete muset vytvořit nový soubor robots.txt.

Vytvoření souboru robots.txt

Nový soubor robots.txt můžete vytvořit pomocí prostého textu editor podle vašeho výběru. (Pamatujte, používejte pouze editor prostého textu.)

Pokud již máte soubor robots.txt, ujistěte se, že jste text odstranili (ale ne soubor).

Nejprve se musíte seznámit s některými syntaxemi používanými v souboru robots.txt.

Google má pěkné vysvětlení některých základních výrazů robots.txt:

Ukážu vám, jak nastavit jednoduchý soubor robot.txt, a poté se podíváme na to, jak jej přizpůsobit pro SEO.

Začněte nastavením výrazu user-agent. Nastavíme to tak, aby platilo pro všechny webové roboty.

Udělejte to pomocí hvězdičky za výrazem user-agent, například takto:

Dále zadejte „Disallow:“, ale poté už nic nezadávejte.

Vzhledem k tomu, že po zakázání nic nebude, budou weboví roboti přesměrováni na procházení celého vašeho webu. Právě teď je vše na vašem webu spravedlivá hra.

Zatím je váš robots.txt soubor by měl vypadat takto:

Vím, že to vypadá super jednoduše, ale tyto dva řádky už toho dělají hodně.

Můžete také odkazovat na svůj soubor XML Sitemap, ale není to nutné. Chcete-li, zadejte následující text:

Věřte tomu nebo ne, takto vypadá základní soubor robots.txt.

Nyní to posuňte na další úroveň a udělejte z tohoto malého souboru SEO posilovač.

Optimalizace souboru robots.txt pro SEO

Jak optimalizujete soubor robots.txt, vše závisí na c často máte na svém webu. Existuje mnoho způsobů, jak využít soubor robots.txt ve svůj prospěch.

Projdu několik nejběžnějších způsobů jeho použití.

(Pamatujte, že vy neměli by používat robots.txt k blokování stránek z vyhledávačů. To je velké ne-ne.)

Jedním z nejlepších použití souboru robots.txt je maximalizovat rozpočty procházení vyhledávačů tak, že jim to řeknete neprocházet části vašeho webu, které se nezobrazují veřejnosti.

Pokud například navštívíte soubor robots.txt pro tento web (neilpatel.com), uvidíte, že zakáže přihlašovací stránku (wp-admin).

Protože se tato stránka používá pouze pro přihlášení do back-endu webu , nemělo by smysl, aby roboti vyhledávačů ztráceli čas procházením.

(Pokud máte WordPress, můžete použít stejný přesně zakázaný řádek.)

Můžete použijte podobnou směrnici (nebo příkaz), abyste zabránili robotům procházet konkrétní stránky.