검색 콘솔 페이지 색인 생성 문제 이해 및 해결

구글 검색 콘솔(GSC)에서 "페이지 색인 생성을 방해하는 새로운 이유가 있습니다"라는 메시지를 보셨나요? 당신만 그런 게 아닙니다! 많은 웹사이트 소유자들이 페이지 색인 생성 문제로 인해 구글 검색 결과에 웹페이지가 표시되지 않는 어려움을 겪고 있습니다.

"현재 색인되지 않은 페이지" 또는 "현재 색인되지 않은 크롤링된 페이지"와 같은 일부 문제는 일시적이지만, 서버 오류, robots.txt에 의한 차단 또는 리디렉션 오류와 같은 문제는 즉각적인 조치가 필요합니다. 이러한 페이지 색인 문제를 무시하면 사이트 구조에 영향을 미치고 검색 엔진이 중요한 페이지에 액세스하지 못하게 되며, 심지어 저품질 콘텐츠 경고를 받을 수도 있습니다.

이 가이드에서는 기존 웹 페이지가 제대로 색인되지 않는 가장 일반적인 이유를 분석하고 GSC의 URL 검사 도구, 색인 보고서 및 색인 요청 기능을 사용하여 이러한 문제를 해결하는 방법을 보여드리겠습니다. 사용자가 정규 URL을 선택하지 않은 중복 페이지, 리디렉션 체인 또는 잘못되었거나 비어 있는 사이트 URL 등 어떤 문제든 해결해 드립니다!

자, 이제 본격적으로 여러분의 특정 페이지들이 구글 색인에 다시 등록되도록 도와드리겠습니다!

"찾을 수 없음(404)" 오류를 이해하는 방법은 무엇인가요?

Google 검색 콘솔 사이트의 페이지가 색인되지 않은 가장 일반적인 이유 중 하나입니다

404 오류가 무엇인지 궁금하실 수 있습니다. 왜 색인 생성 과정을 방해하는지, 또는 Google 검색 결과에 색인되지 않은 페이지가 표시되는 문제를 어떻게 해결해야 하는지 궁금하실 수도 있습니다. 걱정하지 마세요. 저희가 이러한 궁금증을 해소하고 Google Search Console(GSC)에서 발생하는 404 오류를 해결하는 방법을 알려드리겠습니다.

404 오류가 발생하는 경우, Google은 페이지 콘텐츠를 찾을 수 없어 404 HTTP 응답 코드를 반환하므로 페이지를 색인화할 수 없습니다. 즉, 서버가 해당 페이지를 찾지 못하여 404 오류를 반환한 것입니다. 이 블로그 게시물에서 404 오류에 대해 좀 더 자세히 알아보겠습니다.

그게 무슨 뜻인가요?

간단히 말해, '페이지를 찾을 수 없음 - 404 오류'는 웹 크롤러가 특정 페이지를 크롤링하려고 시도했지만 해당 페이지가 삭제, 교체 또는 이동된 경우에 발생합니다. 따라서 페이지를 찾을 수 없다는 404 오류 메시지가 표시됩니다.

대부분의 경우 구글은 404 페이지가 문맥상 가치가 없다고 판단하여 색인을 생성하지 않습니다. 즉, 유용한 정보를 제공하지 않기 때문에 구글에 의해 색인되지 않는 것입니다.

만약 구글 검색 콘솔에서 오류 메시지가 표시된다면, 이는 아마도 다음과 같은 의미일 것입니다

구글 봇이 서버와 통신하여 해당 페이지를 가져오려고 시도했습니다. 그러나 서버는 해당 페이지의 URL을 찾지 못하여 404 HTTP 응답 코드를 반환했습니다.

웹사이트 성능을 저하시키기 전에 문제의 원인을 파악하고 해결하는 것이 현명합니다 .

일반적으로 404 오류는 사이트의 검색 성능에 영향을 미치지 않습니다. 따라서 대부분의 경우 404 오류를 무시해도 됩니다. 하지만 이러한 잘못된 URL을 포함한 모든 URL이 올바른 404 HTTP 응답 코드 , 그리고 사이트의 robots.txt 파일에서 해당 URL을 차단하지 않는지 확인하는 것이 중요합니다.

관련 글: 검색 엔진 작동 방식 - 크롤링, 인덱싱 및 순위 결정은 어떻게 이루어질까요?

페이지 색인 생성을 방해하는 새로운 원인으로 인해 "페이지를 찾을 수 없음 404" 오류가 발생하는 이유는 무엇인가요?

이제 여러분은 "페이지 색인 생성을 방해하는 새로운 이유가 발생했습니다"라는 오류 메시지가 나타나는 원인과 해결 방법에 대해 궁금해하실 것입니다. 이 오류에는 여러 가지 원인이 있을 수 있지만, 아래에 몇 가지 예를 들어 보겠습니다

페이지가 삭제될 때

의도적이든 비의도적이든 페이지를 삭제하거나 제거할 수 있습니다. 링크가 많고 유용한 콘텐츠가 포함된 중요한 페이지라면 SEO에 영향을 미치고 사이트 트래픽 감소로 이어질 수 있습니다.

페이지가 아무런 목적도 달성하지 못한다면 삭제해도 무방합니다. 다만, 페이지의 내용을 수정하거나 페이지를 다른 페이지로 리디렉션하고 404 오류 코드를 설정해야 합니다.

URL 구조 변경

웹사이트가 성장함에 따라 변화가 필요해지고, 이에 따라 URL 구조에도 몇 가지 변경 사항이 생길 수 있습니다. 하지만 특정 페이지 링크에 오타, 철자 오류, 공백 등이 있는 경우, 사용자가 요청한 해당 페이지의 올바른 콘텐츠가 표시되지 않을 수 있습니다. 이는 404 오류를 발생시켜 궁극적으로 웹사이트 트래픽 손실로 이어질 수 있습니다.

이러한 작은 변화들이 큰 차이를 만들어낼 수 있으며, URL 구조의 아주 미미한 변화조차도 페이지 순위 하락으로 이어질 수 있습니다.

ERR_SSL_Protocol_Error 해결 방법 대해 자세히 알아보세요

Noindex 태그가 지정되었거나 Robots.txt에 의해 차단되었습니다

"noindex 태그"는 Google에 해당 페이지를 건너뛰도록 지시하고, robots.txt 파일은 Googlebot이 페이지를 크롤링하는 것 자체를 차단할 수 있습니다. 때때로 이러한 설정이 실수로 추가되어 색인 생성 문제가 발생합니다. "noindex 태그"가 잘못 추가되었거나 robots.txt 파일에 의해 페이지가 차단된 경우, 검색 엔진은 해당 페이지를 색인화하지 않습니다.

Google의 알고리즘은 이러한 신호를 분석하여 검색 결과에서 해당 페이지를 제외할 수 있습니다. 중요한 페이지가 색인화될 수 있도록 검색 콘솔의 경고 및 유효성 검사 프로세스 설정을 확인하세요.

다음 글을 확인해 보세요 : 웹사이트 도메인 권위를 높이는 방법은 무엇일까요?

중복되거나 부실한 콘텐츠

구글은 여러 페이지에 걸쳐 유사하거나 동일한 콘텐츠를 감지하면 하나의 버전을 선택하여 색인화하고 나머지는 무시할 수 있습니다. 특히 사용자가 정규 페이지를 지정하지 않은 중복 페이지의 경우, 구글은 해당 페이지를 콘텐츠가 부실하거나 중복된 것으로 간주하여 무시할 수 있습니다.

페이지의 여러 버전(예: 적절한 정식 페이지가 있는 대체 페이지)이 존재하는 경우, 그중 하나만 정식 페이지로 표시되도록 하십시오.

서버 오류 및 접근 문제

사이트 호스팅 서버는 페이지를 제대로 색인화하는 데 매우 중요한 역할을 합니다. 서버 오류, 무단 요청 또는 접근 금지 메시지와 같은 문제는 Google이 페이지를 색인화하지 못하게 할 수 있습니다.

또한 일부 페이지는 사용자 에이전트에서 제공하는 자격 증명이 필요하므로 로그인하지 않은 사용자는 해당 페이지에 액세스할 수 없어 페이지 색인 생성에 문제가 발생할 수 있습니다.

동적 페이지 요청

사이트에서 세션 기반 URL을 사용하여 동적 페이지 요청을 생성하는 경우 Google은 서로 다른 매개변수에 대해 동일한 페이지를 식별하는 데 어려움을 겪을 수 있습니다.

이로 인해 사용자가 정규 버전을 선택하지 않은 상태에서 중복 오류가 발생할 수 있습니다. 혼동을 방지하려면 선호하는 버전을 가리키는 적절한 정규 태그를 사용하십시오.

참고: 워드프레스에서 301 오류를 해결하는 방법은 무엇인가요?

404 오류가 SEO에 미치는 영향과 이를 수정해야 하는 이유

404 오류는 사이트에 아무런 문제가 없어 보일 수 있습니다. 그러나 이러한 HTTP 코드를 조사하고 사이트 상태에 악영향을 미치기 전에 수정하는 것이 중요합니다.

이러한 오류를 방치하면 다음과 같은 문제가 발생할 수 있습니다

사용자 경험에 부정적인 영향을 미칩니다

웹사이트에 접속해서 페이지를 클릭했는데 "페이지를 찾을 수 없습니다(404 오류)"라는 메시지가 뜬다고 상상해 보세요. 기분이 어떠시겠어요? 상당히 짜증 나겠죠? 사용자들은 웹사이트에서 404 오류를 이와 같은 방식으로 인식합니다. 만약 사용자가 페이지에서 아무런 콘텐츠나 정보도 얻지 못한다면, 웹사이트에 대한 부정적인 인식과 사용자 경험으로 이어질 가능성이 높습니다. 이는 웹사이트의 전환율에도 악영향을 미칠 수 있습니다.

따라서 사용자가 해당 페이지로 이동할 수 있도록 이러한 페이지를 리디렉션하거나 사용자 지정 404 페이지를 생성해야 합니다.

자세히 알아보기 : SEO에 최적화된 최고의 전자상거래 플랫폼

검색 엔진 불이익을 초래할 수 있습니다

다소 생소하게 들릴 수 있지만, 구글은 웹사이트에 404 오류가 너무 많을 경우 검색 결과에서 불이익을 주거나 순위를 낮출 수 있습니다. 이는 해당 웹사이트가 유용한 정보를 제공하지 않는다는 인상을 주어 SEO 가치를 떨어뜨리기 때문입니다. 또한, 문제가 해결되지 않거나 장기간 지속될 경우 구글은 해당 웹사이트에 불이익을 줄 수 있습니다.

자세히 알아보기 : 주목해야 할 핵심 SEO 트렌드

크롤링 예산에 영향을 미칩니다

네, 구글 봇에는 크롤링 예산이 있으며, 구글은 사이트에서 특정 개수의 페이지만 크롤링할 수 있습니다. 구글이 404 페이지를 크롤링하고 있다면, 색인화해야 할 다른 중요한 페이지들을 놓치고 있는 것입니다.

그러므로 404 오류는 해결해 두고, 크롤링 예산은 사이트에서 더 중요한 페이지에 집중하세요.

사이트 트래픽과 순위를 떨어뜨립니다

위에서 언급한 모든 이유는 궁극적으로 웹사이트의 사용자 트래픽과 SEO 순위를 떨어뜨립니다. 사이트에 404 오류 링크가 너무 많으면 순위 하락과 전체 웹사이트 트래픽 감소로 이어집니다.

놓치지 마세요: 워드프레스 회원제 사이트 오류: 비용이 많이 드는 10가지 실수와 해결 방법

사이트 상태 개선을 위해 Google 검색 콘솔에서 404 오류 문제를 어떻게 식별할 수 있을까요?

이제 페이지가 색인되지 않는 이유와 404 오류의 역할을 이해했으니, Google Search Console(GSC)에서 이러한 페이지 색인 문제를 식별하는 방법을 알아야 합니다. GSC에서 이러한 문제를 쉽게 찾아낼 수 있기를 바랍니다

• 먼저, 페이지 색인 오류(404 오류) 관련 Google 메일을 받으셨다면, 메일에 있는 링크를 클릭하기만 하면 Google 검색 콘솔 계정으로 바로 이동할 수 있습니다. 검색 콘솔에서 404 오류 목록을 확인하고 제공된 링크를 검토하시면 됩니다.

• 그렇지 않은 경우 Google 검색 콘솔 > 페이지 > 색인되지 않음 > 찾을 수 없음(404)으로 직접 이동하면 404 URL 목록을 확인할 수 있습니다

• URL을 클릭하고 검사하여 링크가 크롤링되는 소스를 확인하세요. 링크를 개별적으로 검사하면 더 자세한 정보를 얻을 수 있습니다.

• 오른쪽 상단의 "내보내기 버튼"을 클릭하여 전체 목록을 내보내고 CSV 형식 또는 엑셀 시트로 다운로드하세요.

• 이제 URL을 쉽게 검토하고 검사하여 Google에 색인화되도록 수정/리디렉션해야 하는 URL을 확인할 수 있습니다.

GSC에서 "찾을 수 없음 404" 오류를 어떻게 해결하나요?

이 블로그의 핵심은 페이지 색인 생성 문제를 이해하고, 사이트 순위에 악영향을 미치지 않도록 해결하는 방법을 알려드리는 것입니다. 자, 그럼 바로 시작해 볼까요!

URL을 검사하고 분석합니다

• 먼저 이전에 Google 검색 콘솔에서 내보낸 목록을 분석하여 404 오류의 원인을 파악하세요. 사이트 규모가 크고 페이지가 많은 경우, 스크리밍 프로그(Screaming Frog) 모든 세부 정보를 신속하게 얻을 수도 있습니다.

• 다음으로, GSC XML 사이트에 404 오류 페이지가 포함되어 있지 않은지 확인하십시오. 200 상태 코드를 가진 페이지만 포함되어야 합니다. 하지만 이러한 페이지가 404 오류에 포함되어 있다면, 제출된 페이지가 삭제되었거나, 사이트맵을 업데이트해야 하거나, 오류가 있는 것일 수 있습니다. 따라서 사이트, 특히 URL 구조에 변경 사항이 생기면 XML 사이트맵을

이 단계에서 404 페이지가 중요하지 않고, 존재할 필요가 없으며, 웹사이트에 큰 영향을 미치지 않을 것이라고 판단되면 그대로 두셔도 됩니다. 그래도 해결해야 할 필요가 있다면 다음 단계로 진행하세요.

301 리디렉션 설정하기

콘텐츠를 다른 심볼릭 페이지로 이동한 경우 404 오류 페이지를 리디렉션하는 것을 고려해야 합니다. 웹사이트 내의 관련 페이지로 리디렉션할 수도 있습니다. 사용자가 더 유용한 페이지로 이동하도록 유도하는 것이 중요합니다.

페이지를 올바르게 리디렉션하면 Google에서 해당 페이지를 다시 크롤링하고, '페이지를 찾을 수 없음' 오류 페이지가 Google 검색 엔진(GSC)에서 '리디렉션된 페이지'로 표시될 것입니다.

하지만 의도적으로 관련 없는 다른 페이지로 페이지를 리디렉션하거나 페이지 색인 생성을 서두르지 마세요. 페이지를 문맥에 맞는 관련 페이지로 리디렉션해야 하며, 그렇지 않으면 GSC에서 "소프트 404 오류"와 같은 문제가 발생할 수 있습니다

관련 항목: 워드프레스에서 404 페이지를 쉽게 추적하고 리디렉션하는 방법은 무엇인가요?

404 페이지의 내부 및 외부 링크를 검사하세요

웹사이트의 특정 페이지가 불필요하다고 생각되어 404 오류를 표시해도 괜찮다고 판단되더라도, 해당 페이지의 모든 내부 및 외부 링크를 확인하십시오. 페이지 자체가 중요하지 않더라도 링크를 모니터링하는 것은 매우 중요하며, 과도한 내부 및 외부 링크를 가지고 있어서는 안 됩니다.

이 경우 내부 링크를 200 상태 코드로 응답하는 관련 페이지 링크로 대체할 수 있습니다.

외부 링크와 관련해서는 해당 웹사이트에 연락하여 기존 링크를 업데이트하도록 요청할 수 있습니다. 또는 현재 페이지로 301 리디렉션을 설정하거나, 관련 콘텐츠가 포함된 새 페이지를 만들어 리디렉션하거나, 401 HTTP 상태 코드를 설정할 수도 있습니다.

Google 검색 콘솔 도구를 사용하세요

GSC 도구를 사용하여 GSC 계정에 표시되는 404 오류를 수정할 수도 있습니다.

• URL을 업데이트하거나 리디렉션 또는 변경할 때 새 URL을 검색 콘솔에 제출하세요. 이렇게 하면 Google이 페이지를 더 빠르게 색인화하는 데 도움이 됩니다.
• 이전 URL 리디렉션에 새 콘텐츠를 업데이트한 경우 Google에 업데이트된 페이지를 다시 크롤링하고 색인화하도록 요청해야 합니다.
• 404 오류 문제가 해결되면 GSC에서 해당 문제를 해결됨으로 표시하고 Google에 해결 사실을 알릴 수 있습니다.
• URL이 404 오류로 리디렉션된 경우, Google Search Console(GSC)에서 해당 페이지를 차단하여 페이지 크롤링에 소요되는 시간을 줄일 수 있습니다.

관련 항목: 구글의 유용한 콘텐츠 업데이트 최신 버전

향후 404 오류를 방지하는 방법

메일이나 GSC에서 404 오류가 다시 발생하는 것을 방지하려면 다음 해결 방법을 시도해 보세요

• 내부 및 외부 링크 업데이트: 항상 내부 링크를 개선하고, 감사를 실시하며, 이러한 링크가 사이트 내에서 작동하는 활성 페이지를 가리키는지 확인하십시오.
• 사이트맵 업데이트: XML 사이트맵 또는 하위 사이트맵은 올바르고 최신의 URL 구조를 반영해야 합니다.
• 링크 점검 및 정리: 웹사이트의 모든 링크를 정기적으로 모니터링하고, 불필요하거나 깨진 링크는 삭제 또는 정리하세요. 문제가 발생하면 즉시 수정하십시오.
• 사이트 변경 사항 모니터링: 사이트 이전이나 URL 변경이 있는 경우, URL을 올바르게 리디렉션하고 제대로 작동하는지 테스트해야 합니다.
• 정기적으로 404 오류를 확인하세요: 매달 Google Search Console(GSC) 검사를 실시하여 지속적으로 발생하는 404 오류를 찾아내야 합니다. 이렇게 하면 오류를 적시에 수정하고 페이지가 Google에 제대로 색인되도록 할 수 있습니다.

GSC에서 리디렉션이 있는 페이지가 감지됨에 따라 페이지 색인 생성 문제를 이해하기

Google 검색 콘솔에서 "리디렉션이 있는 페이지"라는 메시지가 표시되면, 사용자가/크롤러가 해당 페이지로 이동하려고 시도하지만 다른 URL로 리디렉션되어 페이지가 색인화되지 않았음을 의미합니다.

이로 인해 구글은 원래 페이지 대신 대상 URL을 색인화하게 됩니다.

따라서 구글 봇은 해당 페이지를 크롤링하고 색인을 생성할 수 없습니다. 대신 대상 페이지를 크롤링하게 되며, 이로 인해 구글 검색 콘솔에 "리디렉션이 있는 페이지"라는 오류가 발생합니다.

"리디렉션"은 나쁜 소식일까요?

"리디렉션이 필요한 페이지"라는 메시지가 항상 나쁜 소식만은 아닙니다. 사이트에 더 이상 필요하지 않은 페이지가 몇 개 있고, 해당 콘텐츠를 사용자에게 표시하기에 더 적합한 다른 페이지가 있다는 의미일 수도 있습니다. 예를 들어, 보안되지 않은 HTTP 코드의 URL을 HTTPS로 변경하는 것은 페이지와 사용자를 더 유용한 페이지 버전으로 리디렉션하는 한 가지 방법입니다.

앞서 설명한 것처럼 리디렉션을 사용하여 사이트의 중복 콘텐츠를 방지할 수도 있습니다. 중복 콘텐츠를 정식 버전의 콘텐츠로 리디렉션하면 Google이 해당 페이지를 크롤링하고 색인화할 수 있습니다.

Reason Redirects Causes Indexing Issues in GSC

리디렉션이 있는 페이지는 사이트의 중복 콘텐츠를 최적화하는 좋은 방법이 될 수 있지만, 적절하게 처리하지 않으면 실제로 문제를 일으킬 수도 있습니다.

페이지가 Google에 색인되지 않는 이유는 두 가지 유형의 리디렉션 때문일 수 있습니다.

첫째, 실수로 생성되었지만 아직 수정되지 않은 리디렉션이 있습니다. 둘째, 임시 리디렉션이 Google 봇에 의해 영구 리디렉션으로 인식된 경우입니다.

• 301 영구 리디렉션은 리디렉션된 페이지가 더 이상 아무런 목적도 수행하지 않으며 색인화되지 않도록 하려는 것입니다. 대신 사용자와 Google 봇이 최종 페이지로 이동하여 색인화되도록 하는 것입니다.

• 302 리디렉션은 임시로 생성되는 페이지로, 예를 들어 사이트 오류를 ​​빠르게 수정할 때 사용됩니다. 이 경우 해당 페이지는 여전히 중요하며, 검색 엔진에 색인되어야 합니다.

이러한 임시 리디렉션은 Google에서 영구 리디렉션으로 간주되어 색인 생성 과정에서 누락될 수 있습니다. 따라서 임시 리디렉션에 주의를 기울이고 Google이 가능한 한 빨리 원래 페이지로 다시 초점을 맞추도록 해야 합니다.

"페이지 리디렉션 오류"를 해결하는 방법은 무엇인가요?

이제 모두가 알고 있지만 언급하지 않는 문제, 즉 Google 검색 콘솔에서 리디렉션이 발생한 페이지를 어떻게 수정해야 하는지 알아보겠습니다. 만약 이러한 페이지 중 일부가 중요하고 수정이 필요하다고 생각되면 아래 단계를 따라 수정하세요

• GSC로 이동하여 페이지로 이동한 다음 리디렉션 섹션이 있는 페이지를 찾아 색인화되지 않은 페이지 목록을 확인하세요.
• 오른쪽 피라미드 모양 버튼을 사용하여 특정 폴더의 URL만 필터링할 수 있으며, 전체 보고서를 엑셀 시트로 내보낼 수도 있습니다.
• 또한 URL 옆에 있는 돋보기 버튼이나 검사 도구를 사용하여 각 URL을 자세히 살펴볼 수도 있습니다
• 실시간 테스트 옵션으로 이동하면 색인 생성 대상으로 지정할 최종 URL에 대한 모든 데이터를 확인할 수 있습니다.
• 위의 모든 단계를 건너뛰고 당분간 임시 해결책을 원한다면, 잘못된 리디렉션을 모두 제거해야 합니다.

결론

페이지 색인 생성 문제가 다시 발생할 때마다, 이제는 그 원인과 해결 방법을 확실히 알고 계실 것입니다. 이러한 오류를 처리하기 전에, Google 검색 콘솔에 나타나는 404 오류, 페이지 리디렉션 또는 기타 색인 생성 문제를 정기적으로 검사하고 모니터링하는 것을 습관화해야 합니다. 페이지를 검사하고, 리디렉션을 설정하고, 업데이트하여 404 오류 및 페이지 리디렉션으로 인한 색인 생성 문제를 해결할 수 있습니다. 위의 단계를 현명하게 활용하여 페이지를 수정하세요.

웹사이트를 원활하게 운영하려면 적극적인 관리가 필수적입니다. Seahawk는 전문적인 웹사이트 유지보수 서비스와 WordPress 지원을 통해 색인 생성 문제를 해결하고, 콘텐츠 품질을 개선하며, 사이트의 모든 페이지가 제대로 색인화되도록 도와드립니다.

도움이 필요하신가요? 지금 바로 문의하시면 WordPress 지원을 Google 크롤링 및 검색 가시성 최적화를 도와드립니다. 성공적인 색인 생성을 기원합니다!

자주 묻는 질문