구글의 존 뮐러는 A/B 테스트의 두 버전이 “상당히 다르다면” 그 차이가 “검색 결과에서도 보일 수 있다”고 언급했다. 그는 또한 “설정에 따라 한 버전 또는 다른 버전이 인덱싱에 사용될 수 있다”고 말했다.
그는 Bluesky에 이 내용을 게시했으며, 다음과 같은 질문을 받았을 때의 답변이었다:
구글의 A/B 테스트 가이드가 동일한 A/B 테스트를 장기간 실행하지 말라고 권장하는 것으로 알고 있는데, 예를 들어 6~12개월 동안 10%를 장기 보류(holdout)로 두는 경우, 특히 수천만 건의 크롤링이 유사한 수의 페이지에 걸쳐 이루어지는 대규모 마켓플레이스에서는 구글이 이를 어떻게 처리하는지 궁금합니다.
존 뮐러가 다음과 같이 답했다:
“설정에 따라 한 버전 또는 다른 버전이 인덱싱에 사용될 수 있습니다. 두 버전이 충분히 유사하다면 아마 문제가 되지 않을 것입니다. 하지만 상당히 다르다면, 그 차이가 검색 결과에서도 보일 수 있습니다.”
후속 질문은 다음과 같았다:
만약 완전히 다른, 예컨대 페이지를 재설계한 것과 같은 경우이고 구글봇이 크롤할 때마다(때로는 하루에) 번갈아 가며 대체 버전을 받는다면 어떨까요? 핵심 HTML 구조가 그처럼 빠르게 바뀌면 인덱싱에 문제가 생기고 구글이 페이지를 색인에서 제외할 가능성이 있나요?
존의 답변은 다음과 같다:
“우리는 크롤링한 방식대로 콘텐츠를 인덱싱에 반영합니다. 제가 아는 한, 콘텐츠가 다양하다고 해서 별도의 ‘처벌’이나 ‘강등’이 있는 것은 아닙니다(많은 사이트가 그런 방식을 사용합니다). 다만 콘텐츠가 계속해서 변경되면 디버그하고 모니터링하기가 더 어려워질 수는 있습니다.”
한편 구글의 공식 A/B 테스트 모범 사례 가이드는 “버튼이나 이미지의 크기, 색상, 위치 또는 ‘행동 유도'(예: ‘장바구니에 담기’ vs. ‘지금 구매!’) 텍스트와 같은 작은 변경은 사용자 상호작용에 놀라운 영향을 미칠 수 있지만, 종종 해당 페이지의 검색 결과 스니펫이나 순위에는 거의 또는 전혀 영향을 미치지 않는다”고 명시하고 있다.
구글은 수년간 블로그 게시물과 비디오에서 이 주제에 대해 조언을 해오다가 2022년에 해당 문서를 정리해 발표했다. 구글은 A/B 테스트 가이드가 필요하다고 판단해 하나를 만들었다.
즉, A/B 테스트를 계획하고 있고 구글 검색 및 SEO에 관심이 있다면 구글의 공식 가이드를 확인할 수 있습니다.
포럼 토론은 Bluesky에서 확인할 수 있습니다.