새 글을 계속 발행하는데 Google 발견과 색인이 늦다면 콘텐츠 수만 늘리기 전에 서버가 Googlebot 요청에 안정적으로 답했는지 확인해야 한다. Search Console 크롤링 통계는 총 요청 수, 다운로드 크기, 평균 응답 시간, 호스트 상태와 응답·파일 유형을 보여 준다. 이 글은 2026년 10월 6일 Google 공식 문서를 기준으로 소상공인 사이트가 속도와 크롤링 문제를 구분하는 현장 진단법을 정리한다.
핵심 요약: 색인 수보다 호스트 상태부터 본다
크롤링 통계에서 먼저 호스트 상태가 녹색인지, 최근 가용성 문제가 표시되는지 본다. 이어 응답별 표에서 200, 리디렉션, 404, 429와 5xx 비중을 확인한다. 요청 수가 줄었다는 사실만으로 패널티나 품질 하락을 단정하지 않는다. 크롤링은 Google이 페이지를 가져가는 과정이고 색인은 검색결과에 저장·노출할지 판단하는 별도 과정이므로 두 보고서를 섞어 해석하지 않는다.
90일 총량과 최근 7일 급변을 분리한다
보고서의 90일 추세에서 총 크롤링 요청, 총 다운로드 크기, 평균 응답 시간을 같은 축으로 본다. 그다음 최근 7일을 잘라 배포일, 장애일, 대량 이미지 업로드일과 맞춘다. 월간 평균만 보면 하루 동안 발생한 5xx 급증이 가려질 수 있고, 하루 수치만 보면 일시적인 점검을 구조적 문제로 오해할 수 있다. 기록표에는 날짜, 변경 내용, 응답 시간, 오류 유형, 복구 시각을 함께 남긴다.
응답 코드별 실패 비율을 계산한다
예를 들어 7일간 표본 480회 중 5xx가 18회, 429가 6회라면 실패 관찰 비율은 (18+6)÷480×100=5%다. 이 값은 Google의 공식 합격선이 아니라 내부 우선순위 지표다. 5xx는 서버가 요청을 끝내지 못한 원인을, 429는 과도한 요청 제한이나 자원 부족을 먼저 확인한다. 404는 삭제된 URL인지, 잘못된 내부 링크인지 구분하고 정상 삭제라면 억지로 200 페이지로 돌리지 않는다.
HTML·이미지·RSS 유형별로 병목을 분리한다
파일 유형 표에서 HTML, 이미지, JavaScript, CSS, RSS·Atom 요청을 나눠 본다. HTML 평균 응답이 느리면 데이터 조회와 서버 렌더링을, 이미지만 크고 느리면 원본 크기·압축·캐시를 점검한다. RSS와 사이트맵 XML은 최신 URL과 실제 수정일이 맞는지 확인한다. 공통 이미지나 스크립트는 같은 URL로 제공하면 Google이 캐시해 다시 쓰기 쉽다. 의미 이해에 필요한 CSS·JavaScript를 무조건 robots.txt로 막지 않는다.
발견과 재크롤링 요청을 구분한다
새 URL을 알리는 기본 경로는 최신 사이트맵과 표준 HTML 내부 링크다. Google은 사이트맵을 제안으로 사용하므로 제출했다고 모든 URL을 즉시 크롤링하거나 색인하지 않는다. 같은 사이트맵을 하루 여러 번 다시 제출하거나 실제 내용이 바뀌지 않은 페이지의 lastmod만 갱신하지 않는다. 중요한 글은 관련 글과 카테고리에서 직접 연결하고, 모바일 화면에도 데스크톱과 같은 핵심 링크가 있는지 확인한다.
사용자 속도와 Googlebot 기록을 대조한다
검색결과에서 첫 클릭이 느리다면 같은 URL을 비로그인 모바일과 PC에서 세 번 열어 리디렉션 횟수, 첫 바이트 시간, 전체 완료 시간을 적는다. 크롤링 통계의 평균 응답 시간도 같은 날짜 구간으로 비교한다. 사용자 측도 느리고 Googlebot 응답도 함께 악화되면 호스팅·서버 경로를 우선 점검한다. 사용자만 느리면 광고·분석 스크립트·큰 대표 이미지·브라우저 실행 시간을, Googlebot만 나쁘면 응답 코드와 호스트 상태를 더 본다.
30분 점검표로 수정 순서를 고정한다
첫 5분은 호스트 상태와 최근 경고 날짜를 기록하고, 다음 10분은 응답 코드와 예시 URL을 확인한다. 이어 5분은 파일 유형과 크롤링 목적을 나누고, 다음 5분은 robots.txt·사이트맵·대표 내부 링크의 HTTP 응답을 검사한다. 마지막 5분은 실제 사용자 속도와 대조해 서버, 이미지, 링크 중 한 원인만 우선 수정한다. 여러 항목을 동시에 바꾸면 개선 원인을 확인하기 어렵다.
발행과 수정을 멈춰야 할 조건
최근 호스트 가용성 경고, 반복되는 5xx·429, robots.txt 접근 실패, 사이트맵 5xx, 홈이나 게시물의 긴 리디렉션, 모바일 내부 링크 누락, 배포 중 장애, 원인 미확인 상태가 하나라도 있으면 새 글 발행량부터 늘리지 않는다. 서버 복구와 핵심 URL 검증을 먼저 끝낸다. 작성·검수는 윈윈 비즈니스 인사이트 편집부가 맡았으며 크롤링 빈도·색인·검색 노출·방문·매출·검색순위·애드센스 승인을 보장하지 않는다.