WordPress에서 robots.txt 파일을 효과적으로 편집하는 방법을 알고 싶으신가요? 이 작지만 강력한 파일은 검색 엔진 크롤링 봇을 위한 로드맵과 같습니다. 검색 엔진이 사이트의 어떤 부분을 탐색해야 하고 어떤 부분은 탐색하지 말아야 하는지를 알려줍니다. robots.txt 파일을 관리하면 검색 엔진이 가장 중요한 페이지에 집중하도록 도와 사이트 속도와 SEO 순위를 향상시킬 수 있습니다.
워드프레스는 자동으로 robots.txt 파일을 생성하지만, 항상 사용자의 특정 요구 사항을 충족하는 것은 아닙니다. 검색 엔진이 원하는 정보만 볼 수 있도록 robots.txt 파일을 수정해야 할 때가 있습니다.
robots.txt 파일을 편집하는 것이 어렵게 느껴지시나요? 걱정하지 마세요! 이 가이드에서는 robots.txt 파일의 역할, 중요성, 그리고 워드 프레스 웹사이트 . 자, 시작해 볼까요?
워드프레스에서 robots.txt 파일 이해하기
워드프레스 의 robots.txt 파일에 대해 이야기해 볼까요 ? 생각보다 간단합니다! 이 일반 텍스트 파일은 웹사이트의 루트 디렉토리에 있으며, 웹 로봇(봇)에게 일련의 지침을 제공합니다. 기본적으로, 봇에게 사이트의 어떤 부분을 탐색하고 색인화해야 하는지, 어떤 부분은 탐색하지 말아야 하는지를 알려주는 역할을 합니다.
검색 엔진에 일련의 지침을 제공하는 것과 같다고 생각하면 됩니다. 예를 들어, 구글의 크롤러( 구글봇 )는 검색 색인을 업데이트하기 위해 웹사이트를 자주 확인합니다. 이들이 웹사이트를 방문할 때, robots.txt 파일에서 수행해야 할 작업에 대한 지침을 찾습니다.
이 파일의 주요 목적은 웹사이트 소유자인 여러분이 검색 엔진이 접근할 수 있는 정보를 제어하는 데 도움을 드리는 것입니다. 이 파일을 사용하여 봇이 사이트의 특정 페이지나 디렉토리를 크롤링하지 못하도록 차단할 수 있습니다. 하지만 주의할 점이 있습니다. 모든 봇이 규칙을 준수하는 것은 아닙니다. 구글과 같은 신뢰할 수 있는 봇은 가이드라인을 따르지만, 일부 악성 봇은 이를 무시할 수 있습니다.
살펴보기: 크롤러 목록 - SEO에 가장 적합한 웹 크롤러 살펴보기
워드프레스에서 robots.txt 파일을 수정해야 하는 이유는 무엇인가요?
워드프레스 사이트의 robots.txt 파일을 수정해야 하는 이유는 무엇일까요? 몇 가지 중요한 이유가 있습니다. 하나씩 살펴보겠습니다
사이트 속도를 향상시키세요
웹사이트의 모든 페이지를 검색 엔진 봇이 크롤링할 필요는 없습니다. 불필요한 페이지는 건너뛰도록 봇에 알려주면 리소스를 확보하고 사이트 로딩 속도를 향상시킬 . 웹사이트 속도가 빠르면 방문자 만족도가 높아질 뿐만 아니라 검색 결과 순위도 높아집니다 !
서버 성능 최적화
웹사이트 운영에 도움이 되지 않는 봇은 서버 리소스를 과도하게 사용하고 로그에 404 오류를 . robots.txt 파일을 수정하면 이러한 원치 않는 봇을 차단하여 서버를 효율적으로 운영하고 성능을 향상시킬 수 있습니다.
민감한 정보를 보호하세요
관리자 페이지, 비공개 문서 또는 기밀 콘텐츠와 같은 웹사이트의 특정 부분은 검색 엔진에 의해 색인화되지 않아야 합니다. robots.txt 파일을 사용하면 검색 봇이 이러한 영역을 피하도록 지시하여 개인 정보 및 보안을 보호할 수 있습니다.
검색 콘솔에서 "페이지 색인 생성을 방해하는 새로운 이유" 오류를 해결하는 방법을 알아보세요.
봇이 적절한 콘텐츠를 찾도록 안내합니다
검색 엔진이 특정 페이지나 게시물에 집중하도록 하고 싶으신가요? robots.txt 파일을 사용하면 검색 봇이 가장 중요한 콘텐츠를 . 이를 통해 색인화 우선순위를 높여 검색 결과 순위를 향상시킬 수 있습니다.
중복 콘텐츠 문제를 방지하세요
카테고리 페이지나 태그 페이지와 같은 중복 콘텐츠는 검색 엔진을 혼란스럽게 하고 SEO 순위에 악영향을 미칠 수 있습니다. 잘 최적화된 robots.txt 파일을 사용하면 검색 봇이 이러한 페이지를 색인화하지 못하도록 막아 사이트 콘텐츠를 깔끔하고 검색 엔진 친화적으로 유지할 수 있습니다.
관련 항목: SEO 개선을 위해 워드프레스에서 중복된 제목 태그를 수정하는 방법
워드프레스에서 robots.txt 파일을 수정하는 3가지 방법
자, 이제 워드프레스에서 Robots.txt 파일의 기능을 이해하셨으니, 세 가지 간단한 방법으로 이 파일을 편집하는 방법을 살펴보겠습니다.
각 방법을 단계별로 안내해 드리겠습니다. 시작하기 전에, FTP 클라이언트나 cPanel을 사용하는 경우 robots.txt 파일을 먼저 수동으로 생성해야 한다는 점을 기억해 주세요. 자, 시작해 볼까요!
FTP 클라이언트를 사용하여 Robots.txt 편집하기
WordPress에서 FTP 클라이언트를 사용하여 robots.txt 파일을 편집하려면 FTP 클라이언트를 설정하고 웹사이트에 연결해야 합니다. FileZilla 나 Cyberduck 잘 작동하지만, 이 가이드에서는 FileZilla를 사용하겠습니다.
1단계: 워드프레스 웹사이트를 FTP에 연결합니다.
- 먼저 컴퓨터에 FileZilla를 설치하세요. 설치가 완료되면 앱을 열고 파일 > 사이트 관리자 (단축키를 사용하려면 Ctrl+S를 누르세요).
- 다음으로, '새 사이트'를 하고 '내 사이트'에서 사이트 이름을 지정하세요.
- 이제 일반 탭으로 이동하여 사이트 자격 증명을 입력하세요. 이러한 자격 증명은 일반적으로 호스팅 제공업체 대시보드에서 찾을 수 있습니다.
- 자격 증명을 입력한 후 연결을 클릭하십시오.
이제 접속 완료입니다! FTP 클라이언트에서 사이트 파일 디렉토리를 확인할 수 있습니다. 다음으로 robots.txt 파일을 업로드해 보겠습니다.
2단계: Robots.txt 파일을 워드프레스에 업로드합니다
- 웹사이트의 루트 디렉토리(일반적으로 public_html이라고 함)로 이동하세요 . robots.txt 파일은 바로 이 위치에 저장되어야 합니다.
- robots.txt 파일이 이미 있는 경우 새 파일로 덮어쓰시면 됩니다. 그렇지 않은 경우, 이전에 생성한 파일을 업로드하시면 됩니다.
자, 이제 끝입니다! robots.txt 파일이 생성되었습니다. 모든 것이 제대로 작동하는지 확인하려면 브라우저를 열고 도메인 끝에 /robots.txt를
워드프레스용 FTP 계정 설정 방법 알아보기
cPanel을 사용하여 robots.txt 편집하기
cPanel 사용 과정은 FTP 클라이언트 방식과 매우 유사합니다. 다음 단계를 따르세요
1단계: cPanel에 로그인합니다
먼저 웹사이트의 cPanel에 로그인하세요. 호스팅 제공업체 이미 로그인 정보를 제공했을 것입니다.
로그인 후, 파일 섹션까지 아래로 스크롤하여 파일 관리자를 클릭하세요 .
2단계: Robots.txt 파일 업로드
파일 관리자에서 public_html 디렉토리로 이동합니다. 이 폴더가 robots.txt 파일을 배치해야 하는 루트 폴더입니다.
이미 robots.txt 파일이 있는 경우 새 버전으로 교체하십시오. 파일이 없는 경우 새로 생성한 파일을 업로드하십시오.
3단계: Robots.txt 파일 테스트
브라우저에 도메인 뒤에 /robots.txt를
자, 이제 다 됐습니다! FTP를 사용했든 cPanel을 사용했든, robots.txt 파일이 업데이트되어 검색 엔진이 사이트와 상호 작용하는 방법을 안내할 준비가 되었습니다.
살펴보기: WordPress를 위한 최고의 cPanel 대체 호스팅 플랫폼
AIOSEO를 사용하여 Robots.txt를 편집하세요
robots.txt 파일을 편집하는 가장 쉬운 방법 중 하나는 최고의 WordPress SEO 플러그인 AIOSEO(All in One SEO ) . AIOSEO에는 고급 robots.txt 편집기가 기본 WordPress robots.txt 파일을 쉽게 수정하고 검색 엔진이 사이트를 크롤링하는 방법에 대한 자체 규칙을 설정할 수 있습니다.
이제 AIOSEO를 사용하여 robots.txt 파일을 편집하는 방법을 자세히 살펴보겠습니다!
1단계: 사용자 지정 Robots.txt 활성화
먼저 '올인원 SEO' '도구'를 클릭합니다 . 그런 다음 'Robots.txt 편집기' 탭을 선택합니다.
AIOSEO는 동적인 robots.txt 파일을 자동으로 생성합니다. 이 파일은 WordPress 데이터베이스에 저장되며 브라우저에서 확인할 수 있습니다(잠시 후 방법을 알려드리겠습니다).
Robots.txt 편집기에 들어가면 가장 먼저 해야 할 일은 ' 사용자 지정 Robots.txt 활성화 . 버튼을 클릭하여 파란색으로 바뀌게 하면 파일을 사용자 지정할 수 있는 기능이 활성화됩니다.
그러면 화면 하단에 기본 규칙 미리보기가 표시됩니다. 이러한 기본 설정은 로봇이 관리자 페이지와 같은 특정 WordPress 핵심 파일을 크롤링하지 않도록 합니다. 이러한 규칙은 원하는 규칙으로 변경할 수 있습니다!
2단계: 나만의 규칙 추가하기
이제 사용자 지정 규칙을 추가할 차례입니다. 규칙 작성기를 하거나 다른 사이트에서 robots.txt 파일을 가져오는
방법 1: 규칙 작성기를 사용하여 규칙 추가
규칙 작성기를 사용하면 크롤링할 페이지와 크롤링하지 않을 페이지를 지정하는 규칙을 쉽게 만들 수 있습니다. 예를 들어, 임시 디렉터리에 대한 모든 로봇의 접근을 차단하려면 여기에서 설정하면 됩니다.
작동 방식은 다음과 같습니다
- 사용자 에이전트 사용자 에이전트 에 로봇 이름(예: "Googlebot")을 입력하세요 . 모든 로봇에 규칙을 적용하려면 * 기호를 사용하세요.
- 지시문 Allow , Disallow , Clean-param 또는 Crawl-delay 와 같은 사용 가능한 지시문 중에서 선택하십시오 .
- 값 : 규칙을 적용할 디렉터리 경로 또는 파일 이름을 입력하십시오.
모든 설정을 완료했으면, '규칙 추가'를 완료되면 '변경 사항 저장'을 클릭하는 것을 잊지 마세요
Robots.txt 미리보기 에 나타납니다 . 업데이트된 파일을 보려면 Robots.txt 열기를 . 그러면 Robots.txt 파일의 실제 URL로 이동합니다.
방법 2: 다른 사이트에서 규칙 가져오기
다른 사이트에서 본 robots.txt 파일을 사용하고 싶다면 AIOSEO를 사용하여 간편하게 내 사이트로 가져올 수 있습니다. 방법은 다음과 같습니다
- AIOSEO 메뉴에서 도구 > Robots.txt > 사용자 지정 Robots.txt 활성화를 선택 하세요
- 가져오기 클릭하세요 .
- robots.txt 파일을 가져올 사이트의 URL을 붙여넣거나, 내용을 직접 복사하여 제공된 공간에 붙여넣으세요.
- '가져오기'를 클릭하면 AIOSEO가 파일을 가져와 사이트에 추가합니다.
이것이 아마도 사이트에 사용자 지정 robots.txt 파일을 추가하는 가장 빠른 방법일 것입니다!
Robots.txt 규칙 수정하기
규칙 작성기를 사용하여 다시 편집할 수 있습니다 . 규칙 옆에 있는 휴지통 아이콘을 클릭하여 규칙을 삭제할 수도 있습니다.
그리고 여기 멋진 기능이 하나 더 있습니다. 규칙 순서를 바꿀 수 있어요! 휴지통 옆에 있는 점 6개를 클릭하고 길게 누른 다음, 규칙을 원하는 위치로 드래그해서 놓으면 됩니다. 이렇게 하면 가장 중요한 규칙들을 우선순위에 따라 배치할 수 있어요!
변경 작업을 마쳤으면 '변경 내용 저장'을 모든 내용을 적용하세요.
자, 이제 끝입니다! AIOSEO를 사용하여 robots.txt 파일을 성공적으로 편집했습니다. 쉽죠?
추가 정보: 워드프레스 최적화 SEO: 종합 가이드
결론
결론적으로, 워드프레스에서 robots.txt 파일을 편집하는 것은 검색 엔진 봇이 사이트와 상호 작용하는 방식을 관리하는 간단하면서도 강력한 방법입니다. 이 파일을 생성하고 맞춤 설정함으로써 봇이 민감하거나 중복된 콘텐츠를 크롤링하지 못하도록 방지하고 가장 관련성이 높은 페이지만 색인화되도록 할 수 있습니다.
또한 robots.txt 파일을 사용하여 검색 봇이 원하는 콘텐츠를 찾도록 유도함으로써 사이트의 SEO 및 가시성을 향상시킬 수 있습니다. 이 파일을 정기적으로 검토하고 업데이트하는 것은 사이트의 검색 엔진 성능을 관리하는 데 매우 중요합니다.
