브라우저 화면보다 최종 HTTP 응답, robots, canonical과 사이트맵을 확인합니다.
SEO 검사에서 문제가 나왔다면, 무엇부터 고쳐야 할까요?
점수만 올리려고 설정을 바꾸기 전에 접근 → 크롤링 → 색인 신호 → 대표 URL → 검색 성과를 순서대로 구분하세요. 서로 다른 원인을 하나의 오류로 취급하면 오히려 검색에서 사라질 수 있습니다.
크롤링 허용과 Google 실제 색인 여부는 다른 질문입니다.
설정 변경 전후의 응답을 기록하고 복구 경로를 준비합니다.
먼저 ‘어떤 문제가 확인됐는지’ 나눕니다
INXSEO는 대표 페이지와 공개 설정을 검사합니다. 결과에 표시된 사실을 바로 검색 순위의 원인으로 확정하지는 않습니다. 예를 들어 robots.txt가 차단을 선언했다고 해서 Google이 그 URL을 이미 색인에서 삭제했다는 뜻은 아닙니다.
| 발견한 상태 | 먼저 확인 | 잘못된 결론 |
|---|---|---|
| 403·5xx·타임아웃 | 최종 URL의 서버 응답, CDN·WAF 규칙, 서버 로그 | 검색엔진이 사이트를 페널티 줬다 |
| robots.txt Disallow | 대상 검색로봇의 그룹과 정확한 경로 매칭 | 이미 색인에서 제외됐다 |
| meta 또는 X-Robots-Tag noindex | 실제 HTML 헤더·HTTP 응답과 크롤러 접근 허용 여부 | robots와 같은 방식으로 작동한다 |
| 다른 URL의 canonical | 대표 URL·리디렉션·내부 링크의 일관성 | Google이 canonical 선언을 무조건 따른다 |
| 사이트맵 누락 | XML 구문, sitemap 제출·응답, 내부 링크 | 사이트맵만 내면 바로 검색된다 |
| 높은 자체 점수·낮은 검색 유입 | 검색 의도·콘텐츠·실제 색인·GSC 기간/쿼리 | INX 점수와 Google 순위는 동일하다 |
1. 검색 로봇이 페이지를 받을 수 있나요?
주소창에서 열리는 것만으로 충분하지 않습니다. 서버가 로그인 페이지로 보내거나 방화벽에서 자동화된 접근만 막을 수 있습니다. 정규 URL의 최종 응답 코드·Location·Content-Type을 함께 확인하세요. CDN 캐시와 실제 원본 서버의 상태가 다를 수도 있습니다.
curl -I https://www.example.com/articles/example
curl -IL --max-redirs 3 https://www.example.com/articles/example위 코드는 검사 방법을 설명하기 위한 예시이며 INXSEO가 실제 사이트에서 실행한 기록이 아닙니다. 301·308은 이동 경로, 200은 응답, 403은 접근 차단을 나타내지만 어느 하나만으로 색인 여부는 확정되지 않습니다. HTTP 200이지만 내용이 오류 화면인 소프트 404 가능성도 별도로 살펴야 합니다.
복구 우선순위는 정상 공개 URL의 응답 복구 → 오류 URL의 적절한 HTTP 상태 반환 → 사용하지 않는 주소의 명시적 301/404 처리입니다. 무조건 모든 오류를 홈페이지로 301 보내면 탐색·색인과 사용자 경험을 모두 해칠 수 있습니다.
2. robots.txt와 noindex는 서로 다른 제어입니다
robots.txt는 검색로봇의 크롤링 경로를 제한합니다. 예컨대 아래 예시는 모든 로봇에게 /private/ 경로를 가져가지 말라고 요청합니다. 이 파일은 HTML 본문이나 HTTP 상태를 자동으로 제거하지 않습니다.
User-agent: *
Disallow: /private/
Sitemap: https://www.example.com/sitemap.xmlnoindex는 해당 URL을 검색 색인에 포함하지 말라는 지시이며, 보통 크롤러가 이를 읽을 수 있어야 처리됩니다. 따라서 이미 robots.txt로 페이지 읽기를 차단한 뒤 noindex를 추가해도 Google이 지시를 확인하지 못할 수 있습니다. HTML 페이지는 <meta name="robots" content="noindex">, PDF 등은 X-Robots-Tag 응답 헤더를 고려합니다.
의도하지 않게 공개 글이 검색에서 누락됐다면 해당 경로의 robots.txt 그룹, 응답의 X-Robots-Tag, HTML의 robots 메타와 인증·WAF 규칙을 함께 확인하세요. 모든 robots 차단을 일괄 해제하기 전에 관리자·테스트·비공개 경로와 구분해야 합니다.
3. 대표 URL(canonical)은 ‘요청’이 아니라 강한 힌트입니다
서로 비슷한 페이지가 여러 주소에서 제공될 때 rel="canonical"은 선호 대표 URL을 알리는 강한 신호입니다. 하지만 Google의 실제 선택은 리디렉션·내부 링크·사이트맵 등 다른 신호를 종합하므로 선언한 주소가 항상 선택된다고 보장할 수 없습니다.
<link rel="canonical" href="https://www.example.com/guides/topic">예를 들어 /guides/topic과 /guides/topic/이 둘 다 200으로 열리면서 서로 다른 canonical을 가리키면 주소 정합성이 흐려집니다. 한 버전만 정규 URL로 유지하고 나머지는 의도한 경로로 리디렉션하며, 내부 링크와 사이트맵에도 같은 정규 주소를 사용해야 합니다.
검사 결과에 ‘canonical 불일치’가 나온 경우 가장 먼저 최종 URL, 헤더/HTML canonical, 내부 링크를 한 줄로 기록해 비교하세요. 전체 사이트의 canonical을 일괄 변경하지 말고 영향이 작은 URL부터 검증하는 것이 안전합니다.
4. 사이트맵은 발견 경로, 내부 링크는 사용자의 길입니다
XML 사이트맵은 검색엔진이 URL을 찾는 데 도움이 되지만 색인을 보장하지 않습니다. 사이트맵에는 대체로 실제 공개·정규 URL을 넣고, 비공개·오류·예약 발행 전 페이지를 실수로 나열하지 않는지 확인하세요. 날짜 필드는 실제 콘텐츠가 의미 있게 변경됐을 때만 갱신해야 합니다.
사이트맵에 URL이 있다고 해서 방문자가 해당 글을 찾을 수 있는 것은 아닙니다. 홈 → 가이드 목록 → 카테고리 → 개별 글로 이동할 수 있어야 하며, 긴 목록은 페이지로 나눠 이전·다음 탐색을 제공해야 합니다. 반대로 잘못된 링크는 사이트맵이 정상이어도 사용자에게 404 화면을 노출할 수 있습니다.
INXSEO의 가이드 목록과 검사 도구에서 공개 경로를 확인할 수 있습니다. 사이트맵을 변경했다면 응답이 XML인지, 실제 정규 URL과 일치하는지, Google Search Console에서 읽는 데 오류가 없는지 차례로 점검합니다.
5. 실제 검색 노출은 소유자가 Google Search Console에서 확인해야 합니다
INXSEO가 확인한 robots·canonical·HTTP 신호는 ‘색인 준비 상태’를 판단할 때 참고할 수 있지만 Google이 실제로 색인했는지를 대신 확인해주지 않습니다. 소유권을 확인한 사이트라면 Google Search Console의 URL 검사에서 Google이 인식한 대표 URL과 색인 상태를 따로 확인하세요.
Search Console 성과 보고서의 평균 게재순위는 선택한 기간·쿼리·국가·기기의 평균 관측값입니다. 오늘 검색어를 직접 입력했을 때의 실제 순위와 같은 개념이 아니며, 일부 보고 행이 누락될 수도 있습니다. 브랜드 검색어 유입과 비브랜드 검색어 유입도 구분해야 원인 분석이 쉬워집니다.
판단 예시: INX SEO 점수가 높아도 검색 노출이 거의 없다면 점수 자체를 조정하지 말고 페이지 색인 여부, 검색 의도, 콘텐츠 차별성, 내부 링크, 사이트 접근을 순서대로 확인합니다. 자체 DA는 링크 그래프 내 상대치이며 Google 내부 권위나 Page Authority, Spam Score를 재현하는 지표가 아닙니다.
변경하기 전과 후에 남길 기록
- 문제 정의: 문제가 있는 URL 1개, 발생 시각, 기대한 정상 동작을 기록합니다.
- 수정 전 수집: HTTP 응답, robots.txt, robots/X-Robots-Tag, canonical과 현재 색인 관측의 출처를 남깁니다.
- 변경 범위 선택: 전체 robots.txt보다 개별 디렉터리·URL 등 최소 범위부터 검토합니다. 중요한 사이트 설정은 백업합니다.
- 실제 적용: 서버·CMS 설정을 바꾸는 경우 캐시/CDN 적용 시차를 고려하고, 되돌릴 방법을 준비합니다.
- 후속 확인: 동일한 URL과 조건으로 다시 검사합니다. 검색 순위는 단시간에 바로 반영되지 않을 수 있으므로 별도 기록합니다.
여기 있는 코드는 설명용 예시입니다. 특정 사이트에서 오류를 재현하거나 개선 후 순위 상승을 측정했다는 뜻이 아닙니다. 오류 결과는 원래 환경과 서버 로그, 검색 플랫폼의 확인 가능한 정보를 함께 검토해야 합니다.
직접 확인할 수 있는 공식 참고 자료
아래 문서는 구체적 검색 정책과 구현 규칙을 확인하기 위한 자료입니다. INXSEO가 Google의 공식 제품이거나 해당 문서에서 인증을 받았다는 의미는 아닙니다.
- Google 검색: robots.txt 사양과 개요
- Google 검색: noindex로 색인 제외하기
- Google 검색: 대표 URL 선택과 canonical
- Google 검색: XML 사이트맵의 의미
- Search Console: URL 검사 도구
최종 판단은 해당 문서의 최신 내용과 사이트 운영 환경을 기준으로 내려야 합니다.