당신의 웹 사이트가 구글의 선택을 받지 못하는 이유 9가지
본문은 서적 '트래픽을 쓸어 담는 검색 엔진 최적화' 를 읽고 남기는 요약본입니다. 더 자세한 정보를 얻기 원하신다면 해당 서적을 구매하시는 것을 추천드립니다.
구글이 수집하지 못하는 웹 사이트는 어떻게 해야 하나요?
다양한 이유로 구글이 웹 사이트를 수집하는 데 문제가 있을 수 있습니다. 다음 아홉 가지를 확인해보세요.
1. 도메인 문제
‘http://www.example.com’과 ‘http://example.com’ 방식의 도메인이 모두 여러분의 구글 서치 콘솔 계정에 추가되어 색인되었는지 체크해야 합니다.
google search console - page
2. robots.txt로 웹 사이트나 웹 페이지 접속이 막힌 경우
여러분의 사이트의 robots.txt를 확인하여 접속이 막힌 사이트 및 페이지가 없는지 확인해야 합니다.
User-agent: *
Disallow: /owner
Disallow: /manage
Disallow: /admin
Disallow: /oldadmin
Disallow: /search
Disallow: /m/search
Disallow: /m/admin
Disallow: /like
Allow: /
User-agent: Mediapartners-Google
Allow: /
User-agent: bingbot
Crawl-delay: 30
3. sitemap.xml 문제
모든 웹 사이트는 구글이 웹 사이트를 색인할 때 가이드라인을 제공해주는 sitemap.xml이 있어야 합니다. sitemap.xml이 없다면 해당 파일을 생성하여 제출하고, 기존에 제출한 사이트맵이 있지만 문제가 있다면 sitemap.xml 파일을 수정하여 다시 제출해보세요.
google search console - sitemap
<https://junheedot.tistory.com>
2022-10-03T20:59:52+09:00
1.0
<https://junheedot.tistory.com/category>
<https://junheedot.tistory.com/category/Computer%20Science>
...
<https://junheedot.tistory.com/category/%EB%81%84%EC%A0%81%EB%81%84%EC%A0%81>
<https://junheedot.tistory.com/m/category/%EB%81%84%EC%A0%81%EB%81%84%EC%A0%81>
<https://junheedot.tistory.com/tag>
<https://junheedot.tistory.com/guestbook>
<https://junheedot.tistory.com/m/guestbook>
<https://junheedot.tistory.com/25>
2022-10-03T19:46:37+09:00
<https://junheedot.tistory.com/m/25>
2022-10-03T19:46:37+09:00
<https://junheedot.tistory.com/24>
2022-10-02T23:50:53+09:00
...
4. 크롤링 문제
종종 구글이 웹 페이지를 발견하지 못해 색인하지 못하는 경우가 있습니다. 이럴 때는 구글 서치 콘솔에 접속해 크롤링 오류를 점검해야 합니다.
5. 중복된 콘텐츠 문제
웹 사이트에 지나치게 중복된 콘텐츠가 많으면 검색엔진이 색인하기 어렵습니다.
6. Privacy 설정 관련
7. 웹 사이트의 메타 태그에 NOINDEX라고 쓰여진 경우
메타 태그에 NOINDEX라고 쓰는 것은 검색 로봇에게 웹 사이트를 색인하지 말라고 하는 것입니다.
<meta name="robots" content="NOINDEX, NOFOLLOW"/>
8. Ajax와 자바스크립트 문제
동적으로 생성되는 페이지는 구글이 수집하는 데 많은 어려움이 있습니다. 되도록 해당 페이지에서 구글 크롤러가 수집할 수 있도록 링크를 제공해야 합니다.
9. 웹 사이트 로딩 시간이 긴 경우
구글은 로딩 시간이 긴 웹 사이트를 좋아하지 않습니다. 웹 사이트 로딩에 너무 긴 시간이 걸리는 경우 구글은 색인하지 않고 넘어갑니다.