Mindenki szereti a “hackeléseket”.

Nem vagyok kivétel – szeretem megtalálni a módját, hogy jobbá és könnyebbé tegyem az életemet.

Ezért az a technika, amelyről ma mesélek, az egyik abszolút kedvencem. egy legitim SEO feltörés, amelyet azonnal elkezdhet használni.

Ez egy módja annak, hogy növelje SEO-ját, kihasználva minden webhely természetes részét, amelyről ritkán esik szó. Ezt sem nehéz megvalósítani.

Ez a robots.txt fájl (más néven a robotok kizárásának protokollja vagy szabványa).

Ez a pici szöveges fájl az internet minden webhelyének része, de a legtöbb ember nem még tudsz is róla.

Úgy tervezték, hogy a keresőmotorokkal működjön együtt, de meglepő módon ez a SEO juice forrása, csak arra vár, hogy feloldják.

Láttam már klienst az ügyfél meghajlása után. amikor vissza akarom javítani SEO-jukat. Amikor elmondom nekik, hogy szerkeszthetnek egy szinte nem hisznek nekem.

Azonban a SEO fejlesztésének számos olyan módja van, amely nem nehéz vagy időigényes, és ez az egyik ilyen.

Nem Nem kell semmilyen technikai tapasztalat ahhoz, hogy kihasználhassa a robots.txt erejét. Ha megtalálja webhelye forráskódját, használhatja ezt.

Tehát, ha készen áll, kövessen velem, és megmutatom, hogyan módosíthatja a robots.txt fájlt. fájlt úgy, hogy a keresőmotorok imádni fogják.

Miért fontos a robots.txt fájl

Először nézzük meg, miért is számít a robots.txt fájl.

A robots.txt fájl, más néven a robotok kizárási protokollja vagy szabványa, egy szöveges fájl, amely megmondja a webrobotoknak (leggyakrabban a keresőmotoroknak), hogy a webhely mely oldalait kell feltérképezni.

Azt is megmondja a webrobotoknak, mely oldalakat nem szabad feltérképezni.

Tegyük fel, hogy egy keresőmotor hamarosan meglátogat egy webhelyet. Mielőtt meglátogatja a céloldalt, ellenőrizni fogja a robots.txt fájlban található utasításokat.

Különböző típusú robots.txt fájlok léteznek, ezért nézzünk meg néhány különböző példát arra, hogy hogyan néznek ki.

Tegyük fel, hogy a kereső megtalálja ezt a példa robots.txt fájlt:

Ez az alapváz egy robots.txt fájl.

A “user-agent” utáni csillag azt jelenti, hogy a robots.txt fájl minden webhelyre látogató webrobotra vonatkozik.

A “Disallow” utáni perjel ”Azt mondja a robotnak, hogy ne látogasson el a webhely egyetlen oldalára sem.

Talán kíváncsi vagy arra, miért akarja bárki is megakadályozni, hogy a webrobotok meglátogassák a webhelyüket.

Végül is az egyik A SEO legfontosabb célja, hogy a keresőmotorok könnyedén feltérképezzék az Ön webhelyét, így növelik a rangsorolását.

Itt rejlik ennek a SEO feltörésnek a titka.

Valószínűleg van egy sok oldal a webhelyén, igaz? Még akkor is, ha nem gondolja, hogy menne, menjen ellenőrizni. Lehet, hogy meglepődik.

Ha egy keresőmotor feltérképezi az Ön webhelyét, akkor minden egyes oldalát feltérképezi.

És ha sok oldala van, akkor a a keresőmotor botja egy ideig, hogy feltérképezze őket, ami negatív hatással lehet a rangsorolásra.

Ennek oka, hogy a Googlebot (a Google keresőmotor botja) “feltérképezési költségkerettel” rendelkezik.

Ez megszakítja két részre. Az első a feltérképezési gyakoriság korlátja. A Google így magyarázza:

A második rész a feltérképezési igény :

Alapvetően a feltérképezési költségkeret “a Googlebot által feltérképezhető és felkutatni kívánt URL-ek száma”.

Szeretné segíteni, hogy a Googlebot a lehető legjobb módon költse el feltérképezési költségkeretét az Ön webhelyére. Más szavakkal, a legértékesebb oldalakat kell feltérképeznie.

Bizonyos tényezők a Google szerint “negatívan befolyásolják a webhely feltérképezését és indexelését”.

Íme: ezek a tényezők:

Tehát térjünk vissza a robots.txt oldalra.

Ha létrehozza a megfelelőt A robots.txt oldalon megadhatja a keresőmotoroknak (és különösen a Googlebotnak) bizonyos oldalak elkerülését.

Gondoljon a következményekre. Ha azt mondja a keresőmotor botjainak, hogy csak a leghasznosabb tartalmát térképezzék fel, csak a tartalom alapján térképezze fel és indexelje webhelyét.

Ahogyan a Google megfogalmazza:

“Nem szeretné, ha a szerverét elárasztaná a Google robotja, vagy hogy a bejárási költségkeret feltérképezését pazarolná. nem fontos vagy hasonló oldalak a webhelyén. ”

A robots.txt megfelelő használatával megmondhatja a keresőmotor botjainak, hogy okosan költsék el feltérképezési költségkeretüket. És ettől válik annyira hasznos a robots.txt fájl SEO-kontextusban.

Érdekel a robots.txt ereje?

Neked kellene! Beszéljünk arról, hogyan lehet megtalálni és használni.

A robots.txt fájl megkeresése

Ha csak gyorsan át szeretné tekinteni a robots.txt fájlt, akkor egy szuper egyszerű módja van megtekintheti.

Valójában ez a módszer minden webhelyen működik. Pillanthat más webhelyek fájljaira, és megnézheti, hogy mit csinálnak.

A három helyzet egyike fog történni:

1) Talál egy robotot.txt fájl.

2) Üres fájl található.

Például a Disney úgy tűnik, hogy hiányzik belőle egy robots.txt fájl:

3) 404-et kap.

A metódus egy 404 értéket ad vissza a robots.txt fájlhoz:

Vegyen egy percet, és tekintse meg saját webhelye robots.txt fájlját.

Ha üres fájlt vagy 404-et talál, akkor meg kell javítania.

Ha talál érvényes fájlt, akkor valószínűleg az alapértelmezett beállításokra lesz beállítva, amelyek akkor jöttek létre, amikor elkészítette a webhelyét.

Különösen szeretem ezt a módszert más webhelyek robots.txt fájljainak megtekintésére. Miután megismerte a robots.txt csínját-bínját, ez értékes gyakorlat lehet.

Most nézzük meg, hogyan változtatja meg valójában a robots.txt fájlt.

A robots.txt megkeresése fájl

A következő lépések mind attól függenek, hogy van-e robots.txt fájlja. (Ellenőrizze, hogy megtette-e a fent leírt módszerrel.)

Ha nincs robots.txt fájlja, akkor a semmiből kell létrehoznia. Nyisson meg egy olyan egyszerű szövegszerkesztőt, mint a Jegyzettömb (Windows) vagy a TextEdit (Mac.)

Ehhez csak sima szövegszerkesztőt használjon. Ha olyan programokat használ, mint a Microsoft Word, akkor a program további kódokat illeszthet be a szövegbe.

Az Editpad.org nagyszerű lehetőség, és ezt látni fogja ebben a cikkben.

Vissza a robots.txt oldalra. Ha rendelkezik robots.txt fájllal, akkor azt meg kell találnia a webhely gyökérkönyvtárában.

Ha nem szokott a forráskódban piszkálni, akkor kissé nehéz lehet keresse meg a robots.txt fájl szerkeszthető verzióját.

Általában a gyökérkönyvtárat úgy találhatja meg, hogy ellátogat a tárhelyfiók webhelyére, bejelentkezik, és elindul a webhely fájlkezelő vagy FTP szakaszába.

Látnia kell valamit, ami így néz ki:

Keresse meg a robots.txt fájlt, és nyissa meg szerkesztésre. Törölje az összes szöveget, de őrizze meg a fájlt.

Megjegyzés: Ha WordPress-t használ, előfordulhat, hogy a robots.txt fájlt látja, amikor a yoursite.com/robots.txt webhelyre megy, de Ön nyert Nem találja meg a fájljaiban.

Ennek az az oka, hogy a WordPress virtuális robots.txt fájlt hoz létre, ha a gyökérkönyvtárban nincs robots.txt.

Ha ez megtörténik neked létre kell hoznod egy új robots.txt fájlt.

robots.txt fájl létrehozása

Új robots.txt fájlt hozhat létre egyszerű szöveg használatával szerkesztő tetszés szerint. (Ne feledje, hogy csak sima szövegszerkesztőt használjon.)

Ha már rendelkezik robots.txt fájllal, ellenőrizze, hogy törölte-e a szöveget (a fájlt nem). Először meg kell ismernie a robots.txt fájlban használt szintaxis egy részét.

A Google szép magyarázatot ad néhány alapvető robots.txt kifejezésre:

Megmutatom, hogyan állíthat be egy egyszerű robot.txt fájlt, majd megnézzük, hogyan lehet személyre szabni SEO.

Kezdje a user-agent kifejezés beállításával. Be fogjuk állítani, hogy minden webrobotra érvényes legyen.

Ehhez tegye a csillagot a user-agent kifejezés után, így:

Ezután írja be a “Disallow:” kifejezést, de utána ne írjon be semmit.

Mivel a tiltás után nincs semmi, a webrobotok arra irányulnak, hogy feltérképezzék az egész webhelyet. Jelenleg a webhelyén minden korrekt játék.

Eddig a robots.txt a fájlnak így kell kinéznie:

Tudom, hogy nagyon egyszerűnek tűnik, de ez a két sor már nagyon sokat tesz.

Linkelhet XML-webhelytérképére is, de ez nem szükséges. Ha akarja, tegye a következőket:

Ha hiszed, ha nem, így néz ki egy alapvető robots.txt fájl.

Most lépjünk a következő szintre, és fordítsuk ezt a kis fájlt SEO erősítővé.

A robots.txt optimalizálása a SEO számára

A robots.txt optimalizálása az összes ontent van a webhelyén. A robots.txt használatának mindenféle előnye van.

Áttekintem a használatának leggyakoribb módjait.

(Ne feledje, hogy Ön nem használhatja a robots.txt fájlt az oldalak blokkolásához a keresőmotorokból. Ez nagy nem-nem.)

A robots.txt fájl egyik legjobb felhasználása a keresőmotorok feltérképezési költségkeretének maximalizálása azáltal, hogy elmondja nekik hogy ne feltérképezze webhelye azon részeit, amelyek nem láthatók a nyilvánosság számára.

Például, ha meglátogatja a webhely robots.txt fájlját (neilpatel.com), látni fogja, hogy az nem engedélyezi a bejelentkezési oldalt (wp-admin).

Mivel ezt az oldalt csak a webhely háttérbe való bejelentkezéshez használják , nem lenne értelme, ha a keresőmotorok robotjai elvesztegetik az idejüket a feltérképezésükkel.

(Ha rendelkezik WordPress-sel, akkor ugyanazt a tiltási sort használhatja.)

használjon hasonló irányelvet (vagy parancsot), hogy megakadályozza a botokat bizonyos oldalak feltérképezésében.