누구나 “핵”을 좋아합니다.

저도 예외는 아닙니다. 삶을 더 좋고 쉽게 만들 수있는 방법을 찾는 것을 좋아합니다.

그래서 오늘 말씀 드릴 기술이 제가 가장 좋아하는 기술 중 하나입니다. 즉시 사용할 수있는 합법적 인 SEO 해킹입니다.

거의 이야기되지 않는 모든 웹 사이트의 자연스러운 부분을 활용하여 SEO를 높이는 방법입니다. 구현하기도 어렵지 않습니다.

로봇 제외 프로토콜 또는 표준이라고도하는 robots.txt 파일입니다.

이 작은 텍스트 파일은 인터넷의 모든 웹 사이트에 포함되어 있지만 대부분의 사람들은 그렇지 않습니다. 알고 있습니다.

검색 엔진과 함께 작동하도록 설계되었지만 놀랍게도 잠금 해제를 기다리는 SEO 주스의 원천입니다.

클라이언트 벤드 이후 클라이언트를 봤습니다. SEO를 향상 시키려고 노력하는 것입니다. 작은 텍스트 파일을 편집 할 수 있다고 말하면 그들은 거의 나를 믿지 않습니다.

그러나 어렵거나 시간이 많이 걸리지 않는 SEO를 향상시키는 방법이 많이 있으며 이것이 그중 하나입니다.

당신은 robots.txt의 기능을 활용하기 위해 기술적 경험이 필요하지 않습니다. 웹 사이트의 소스 코드를 찾을 수 있다면 이것을 사용할 수 있습니다.

준비가되면 저와 함께 따르세요. robots.txt를 변경하는 방법을 정확하게 보여 드리겠습니다. 검색 엔진이 좋아할 것입니다.

robots.txt 파일이 중요한 이유

먼저 robots.txt 파일이 중요한 이유를 살펴 보겠습니다.

로봇 제외 프로토콜 또는 표준이라고도하는 robots.txt 파일은 사이트에서 크롤링 할 페이지를 웹 로봇 (대부분 검색 엔진)에게 알려주는 텍스트 파일입니다.

또한 웹 로봇에게 크롤링하지 않을 페이지를 알려줍니다.

검색 엔진이 사이트를 방문하려고한다고 가정 해 보겠습니다. 대상 페이지를 방문하기 전에 robots.txt에서 지침을 확인합니다.

robots.txt 파일에는 여러 유형이 있으므로 모양에 대한 몇 가지 다른 예를 살펴 보겠습니다.

p>

검색 엔진이 다음 예제 robots.txt 파일을 찾았다 고 가정 해 보겠습니다.

이것은 robots.txt 파일.

‘user-agent’뒤의 별표는 robots.txt 파일이 사이트를 방문하는 모든 웹 로봇에 적용됨을 의미합니다.

‘Disallow ”은 로봇에게 사이트의 어떤 페이지도 방문하지 말라고 지시합니다.

누군가 웹 로봇이 자신의 사이트를 방문하는 것을 막고 싶어하는 이유가 궁금 할 것입니다.

결국, SEO의 주요 목표는 검색 엔진이 귀하의 사이트를 쉽게 크롤링하여 순위를 높이도록하는 것입니다.

이 SEO 해킹의 비밀이 여기에 들어옵니다.

사이트에 많은 페이지가 있습니다. 그렇죠? 그렇게 생각하지 않더라도 가서 확인해보세요. 놀랄 수도 있습니다.

검색 엔진이 사이트를 크롤링하면 모든 페이지를 크롤링합니다.

페이지가 많으면 검색 엔진 봇이 크롤링하는 동안 순위에 부정적인 영향을 미칠 수 있습니다.

Googlebot (Google의 검색 엔진 봇)에 ‘크롤링 예산’이 있기 때문입니다.

첫 번째는 크롤링 속도 제한입니다. Google에서 설명하는 방법은 다음과 같습니다.

두 번째 부분은 크롤링 수요입니다. :

기본적으로 크롤링 예산은 “Googlebot이 크롤링 할 수 있고 원하는 URL 수”입니다.

Googlebot이 가능한 최선의 방법으로 사이트에 대한 크롤링 예산을 지출하도록 돕고 싶습니다. 즉, 가장 가치있는 페이지를 크롤링해야합니다.

Google에 따르면 “사이트의 크롤링 및 색인 생성에 부정적인 영향을 미치는”특정 요인이 있습니다.

다음은 이러한 요소 :

그러면 robots.txt로 돌아오겠습니다.

robots.txt 페이지에서 특정 페이지를 피하도록 검색 엔진 봇 (특히 Googlebot)에게 알릴 수 있습니다.

의미를 생각해보세요. 검색 엔진 봇에게 가장 유용한 콘텐츠 만 크롤링하도록 지시하면 봇은 해당 콘텐츠만을 기반으로 사이트를 크롤링하고 색인을 생성합니다.

Google의 설명 :

“서버가 Google 크롤러에 압도 당하거나 크롤링 예산 크롤링을 낭비하는 것을 원하지 않습니다. 사이트에서 중요하지 않거나 유사한 페이지입니다.”

robots.txt를 올바른 방법으로 사용하면 검색 엔진 봇이 크롤링 예산을 현명하게 사용하도록 지시 할 수 있습니다. 이것이 SEO 컨텍스트에서 robots.txt 파일을 매우 유용하게 만드는 이유입니다.

robots.txt의 강력한 기능에 관심이 있으십니까?

그럴 것입니다! 파일을 찾고 사용하는 방법에 대해 이야기 해 보겠습니다.

robots.txt 파일 찾기

robots.txt 파일을 빠르게 살펴보고 싶다면 아주 쉬운 방법이 있습니다. 보세요.

사실이 방법은 모든 사이트에서 작동합니다. 따라서 다른 사이트의 파일을 들여다보고 그들이 무엇을하는지 볼 수 있습니다.

다음 세 가지 상황 중 하나가 발생합니다.

1) 로봇을 찾을 수 있습니다.txt 파일입니다.

2) 빈 파일이 있습니다.

예 : Disney robots.txt 파일이 부족한 것 같습니다 :

3) 404를 받게됩니다.

메소드가 robots.txt에 대해 404를 반환합니다.

잠시 시간을내어 사이트의 robots.txt 파일을 확인하세요.

빈 파일이나 404를 찾으면이를 수정하고 싶을 것입니다.

유효한 파일을 찾으면 아마도 사용자가 만들 때 생성 된 기본 설정으로 설정되어있을 것입니다. 사이트를 만들었습니다.

특히 다른 사이트의 robots.txt 파일을 볼 때이 방법이 마음에 듭니다. robots.txt의 내용을 익히면 귀중한 연습이 될 수 있습니다.

이제 robots.txt 파일을 실제로 변경해 보겠습니다.

robots.txt 찾기 file

다음 단계는 모두 robots.txt 파일이 있는지 여부에 따라 달라집니다. (위에 설명 된 방법을 사용하여 확인하세요.)

robots.txt 파일이없는 경우 처음부터 새로 만들어야합니다. 메모장 (Windows) 또는 TextEdit (Mac)과 같은 일반 텍스트 편집기를 엽니 다.

이 작업에는 일반 텍스트 편집기 만 사용하십시오. Microsoft Word와 같은 프로그램을 사용하는 경우 프로그램은 텍스트에 추가 코드를 삽입 할 수 있습니다.

Editpad.org는 훌륭한 무료 옵션이며이 기사에서 제가 사용하는 것을 볼 수 있습니다.

robots.txt로 돌아 가기. robots.txt 파일이있는 경우 사이트의 루트 디렉토리에서 찾아야합니다.

소스 코드를 살펴 보는 데 익숙하지 않은 경우 조금 어려울 수 있습니다. robots.txt 파일의 편집 가능한 버전을 찾습니다.

일반적으로 호스팅 계정 웹 사이트로 이동하여 로그인 한 다음 사이트의 파일 관리 또는 FTP 섹션으로 이동하여 루트 디렉토리를 찾을 수 있습니다.

다음과 같은 내용이 표시됩니다.

robots.txt 파일을 찾아서 엽니 다. 편집을 위해. 모든 텍스트를 삭제하되 파일은 유지합니다.

참고 : WordPress를 사용하는 경우 yoursite.com/robots.txt로 이동하면 robots.txt 파일이 표시 될 수 있지만 파일에서 찾을 수 없습니다.

이것은 WordPress가 루트 디렉터리에 robots.txt가없는 경우 가상 robots.txt 파일을 생성하기 때문입니다.

이 경우 새 robots.txt 파일을 만들어야합니다.

robots.txt 파일 만들기

일반 텍스트를 사용하여 새 robots.txt 파일을 만들 수 있습니다. 당신이 선택한 편집자. (일반 텍스트 편집기 만 사용하십시오.)

이미 robots.txt 파일이있는 경우 파일이 아닌 텍스트를 삭제했는지 확인하십시오.

먼저 robots.txt 파일에 사용되는 구문에 익숙해 져야합니다.

Google은 몇 가지 기본적인 robots.txt 용어에 대해 잘 설명합니다.

간단한 robot.txt 파일을 설정하는 방법을 보여 드리고이를 사용자 정의하는 방법을 살펴 보겠습니다. SEO.

사용자 에이전트 용어를 설정하여 시작합니다. 모든 웹 로봇에 적용되도록 설정하겠습니다.

다음과 같이 사용자 에이전트 용어 뒤에 별표를 사용하여이 작업을 수행합니다.

다음으로 “Disallow :”를 입력하고 그 뒤에는 아무것도 입력하지 마십시오.

허용 금지 이후에는 아무것도 없기 때문에 웹 로봇은 전체 사이트를 크롤링하도록 지시됩니다. 현재 사이트의 모든 것은 공정한 게임입니다.

지금까지 robots.txt는 파일은 다음과 같아야합니다.

매우 간단 해 보이지만이 두 줄은 이미 많은 작업을 수행하고 있습니다.

XML 사이트 맵에 연결할 수도 있지만 필수는 아닙니다. 원하는 경우 입력 할 내용은 다음과 같습니다.

믿거 나 말거나, 이것이 기본적인 robots.txt 파일의 모습입니다.

이제 다음 단계로 넘어 가서이 작은 파일을 SEO 부스터로 바꾸겠습니다.

p>

SEO를위한 robots.txt 최적화

robots.txt를 최적화하는 방법은 모두 c 귀하의 사이트에있는 의도. robots.txt를 사용하는 방법에는 여러 가지가 있습니다.

가장 일반적인 사용 방법을 몇 가지 살펴 보겠습니다.

( robots.txt를 사용하여 검색 엔진의 페이지를 차단해서는 안됩니다. 이는 절대 안됩니다.)

robots.txt 파일을 가장 잘 사용하는 방법 중 하나는 검색 엔진의 크롤링 예산을 최대화하는 것입니다. 사이트에서 공개되지 않은 부분은 크롤링하지 않습니다.

예를 들어이 사이트 (neilpatel.com)의 robots.txt 파일을 방문하면 로그인 페이지 (wp-admin)를 허용하지 않습니다.

이 페이지는 사이트의 백엔드에 로그인하는 데만 사용되기 때문에 , 검색 엔진 봇이 크롤링하는 데 시간을 낭비하는 것은 이치에 맞지 않습니다.

(WordPress를 사용하는 경우 동일한 금지 라인을 사용할 수 있습니다.)

유사한 지시문 (또는 명령)을 사용하여 봇이 특정 페이지를 크롤링하지 못하도록합니다.