색인되는 글과 제외되는 글 비교법: 10개 URL 실험을 재현 가능한 진단으로 바꾸기
소규모 색인 실험에서 성급한 법칙을 만들지 않고 기술 조건과 콘텐츠 조건을 분리해 기록하며 다음 실험으로 이어가는 URL 진단 가이드입니다.
열 개 URL 중 일부만 색인됐다고 해서 “구체적인 글은 합격하고 일반적인 글은 탈락한다”는 법칙을 만들 수는 없습니다. 발행 시각, 발견 경로, 내부 링크, 서버 응답, canonical, 렌더링과 주제 경쟁도가 서로 다르면 비교 조건이 맞지 않기 때문입니다. 소규모 실험의 목적은 Google의 비밀 점수를 추측하는 것이 아니라 다음 진단에서 확인할 변수를 줄이는 데 있습니다.
먼저 색인과 검색 노출을 분리합니다
| 상태 | 알 수 있는 것 | 알 수 없는 것 |
|---|---|---|
| 발견됨 | Google이 URL의 존재를 알고 있음 | 본문을 읽었는지, 색인할지 여부 |
| 크롤링됨 | Google이 URL 응답을 가져간 기록이 있음 | 색인·순위가 보장되는지 여부 |
| 색인됨 | 검색 결과 후보가 될 수 있음 | 특정 검색어에서 노출·상위권이 보장되는지 여부 |
| 노출 발생 | 특정 기간·검색 조건에서 결과에 표시됨 | 콘텐츠 전체 가치나 장기 성과 |
Search Console의 URL 검사 결과도 마지막으로 수집된 색인 정보와 현재 라이브 테스트를 구분해서 읽어야 합니다. 라이브 테스트가 성공해도 품질·보안·수동 조치 등 모든 색인 조건을 확인하는 것은 아닙니다.
비교표에 반드시 고정할 열
- 정확한 발행 시각과 첫 내부 링크가 생긴 시각
- 최종 HTTP 상태 코드, 리디렉션 횟수와 응답 시간
robots.txt, 메타 robots와X-Robots-Tag- 작성자가 지정한 canonical과 Google 선택 canonical
- 사이트맵 포함 여부·마지막 수정 시각
- 홈·카테고리·관련 글에서 들어오는 내부 링크 수
- 본문 고유성, 제목 중복과 태그·첨부 페이지 충돌
- 모바일 렌더링에서 본문·링크가 실제로 보이는지
10개 URL을 세 집단으로 나눕니다
색인됨, 크롤링됐으나 미색인, 발견됐으나 미크롤링의 세 집단으로 나눕니다. 각 집단에서 한두 URL만 골라 원인을 단정하지 말고 공통점과 반례를 함께 찾습니다. 예를 들어 내부 링크가 많은 URL이 먼저 색인됐더라도 같은 조건인데 미색인인 URL이 있다면 내부 링크 하나만으로 설명할 수 없습니다.
기술 조건을 먼저 제거합니다
- 브라우저가 아니라
curl -I또는 개발자 도구로 최종 응답을 확인합니다. - 리디렉션·canonical·noindex가 대표 URL과 일치하는지 봅니다.
- URL 검사 라이브 테스트의 렌더링 화면과 로드된 리소스를 확인합니다.
- 같은 콘텐츠가 다른 슬러그·태그·인쇄 페이지에 존재하지 않는지 검색합니다.
- 사이트맵과 내부 링크에서 정확히 같은 정규 URL을 사용합니다.
기술 문제가 남아 있으면 콘텐츠 품질 가설을 시험해도 해석할 수 없습니다. 반대로 기술 검사가 모두 통과했다고 색인이 보장되는 것도 아닙니다.
콘텐츠 비교는 해결 범위를 맞춥니다
| 비교 항목 | 좋은 실험 설계 | 잘못된 비교 |
|---|---|---|
| 주제 | 유사한 경쟁도·검색 의도 | 브랜드명과 광범위한 일반어 비교 |
| 형식 | 문제 해결형끼리 비교 | 짧은 공지와 장문 가이드 비교 |
| 내부 링크 | 같은 위치·개수로 연결 | 한 글만 홈에서 직접 연결 |
| 관찰 기간 | 동일한 발행 후 경과일 | 하루 된 글과 한 달 된 글 비교 |
다음 실험은 한 변수만 바꿉니다
비슷한 주제 6개를 선정해 동일한 템플릿, 내부 링크 위치, 사이트맵 제출과 관찰 기간을 적용합니다. 세 개에는 독자 질문을 더 구체적으로 반영하고 나머지 세 개는 기존 구조를 유지하는 식으로 한 변수만 바꿉니다. 결과는 색인 여부뿐 아니라 첫 크롤 시각, Google 선택 canonical, 노출 검색어와 클릭까지 기록합니다.
색인 요청을 반복 클릭하지 않습니다
URL 검사에서 색인 요청은 새 콘텐츠나 중요한 수정 사항을 알리는 수단이지 즉시 색인 버튼이 아닙니다. 요청 뒤에는 서버 로그, 페이지 색인 보고서와 라이브 URL을 정해진 주기로 확인합니다. 작은 사이트에서 “크롤 예산 부족”을 기본 원인으로 단정하지도 않습니다. Google의 크롤 예산 고급 문서는 주로 매우 크거나 빠르게 변하는 사이트를 대상으로 합니다.
보고서의 샘플 URL만으로 전체 비율을 추정하지 않습니다
페이지 색인 보고서에는 원인별 예시 URL이 제한적으로 표시될 수 있습니다. 예시 목록에 보이는 열 개가 사이트 전체의 대표 표본이라는 보장은 없습니다. 전체 추세는 보고서의 집계와 사이트맵 단위, 디렉터리 단위 로그를 함께 확인하고, 개별 원인은 URL 검사로 검증합니다.
수정 이력과 관찰 창을 남깁니다
제목·본문·canonical·내부 링크를 동시에 바꾸면 어떤 조치가 영향을 줬는지 알 수 없습니다. 변경 전 상태, 변경 항목, 배포 시각, 요청 시각과 다음 확인일을 기록하세요. 색인 상태는 즉시 갱신되지 않을 수 있으므로 매시간 확인하기보다 같은 간격으로 관찰합니다.
공식 확인 자료
열 개 URL 실험의 좋은 결론은 “Google은 이런 글을 좋아한다”가 아니라 “다음 실험에서는 어떤 조건을 고정하고 무엇을 한 가지만 바꿀 것인가”입니다.