당신의 웹 사이트가 구글의 선택을 받지 못하는 이유 9가지

 

본문은 서적 '트래픽을 쓸어 담는 검색 엔진 최적화' 를 읽고 남기는 요약본입니다. 더 자세한 정보를 얻기 원하신다면 해당 서적을 구매하시는 것을 추천드립니다.

구글이 수집하지 못하는 웹 사이트는 어떻게 해야 하나요?

다양한 이유로 구글이 웹 사이트를 수집하는 데 문제가 있을 수 있습니다. 다음 아홉 가지를 확인해보세요.

1. 도메인 문제

‘http://www.example.com’과 ‘http://example.com’ 방식의 도메인이 모두 여러분의 구글 서치 콘솔 계정에 추가되어 색인되었는지 체크해야 합니다.

 

 

google search console - page

2. robots.txt로 웹 사이트나 웹 페이지 접속이 막힌 경우

여러분의 사이트의 robots.txt를 확인하여 접속이 막힌 사이트 및 페이지가 없는지 확인해야 합니다.

User-agent: *
Disallow: /owner
Disallow: /manage
Disallow: /admin
Disallow: /oldadmin
Disallow: /search
Disallow: /m/search
Disallow: /m/admin
Disallow: /like
Allow: /

User-agent: Mediapartners-Google
Allow: /

User-agent: bingbot
Crawl-delay: 30

3. sitemap.xml 문제

모든 웹 사이트는 구글이 웹 사이트를 색인할 때 가이드라인을 제공해주는 sitemap.xml이 있어야 합니다. sitemap.xml이 없다면 해당 파일을 생성하여 제출하고, 기존에 제출한 사이트맵이 있지만 문제가 있다면 sitemap.xml 파일을 수정하여 다시 제출해보세요.

 

google search console - sitemap

<https://junheedot.tistory.com>
2022-10-03T20:59:52+09:00
1.0


<https://junheedot.tistory.com/category>


<https://junheedot.tistory.com/category/Computer%20Science>

...

<https://junheedot.tistory.com/category/%EB%81%84%EC%A0%81%EB%81%84%EC%A0%81>


<https://junheedot.tistory.com/m/category/%EB%81%84%EC%A0%81%EB%81%84%EC%A0%81>


<https://junheedot.tistory.com/tag>


<https://junheedot.tistory.com/guestbook>


<https://junheedot.tistory.com/m/guestbook>


<https://junheedot.tistory.com/25>
2022-10-03T19:46:37+09:00


<https://junheedot.tistory.com/m/25>
2022-10-03T19:46:37+09:00


<https://junheedot.tistory.com/24>
2022-10-02T23:50:53+09:00


...

4. 크롤링 문제

종종 구글이 웹 페이지를 발견하지 못해 색인하지 못하는 경우가 있습니다. 이럴 때는 구글 서치 콘솔에 접속해 크롤링 오류를 점검해야 합니다.

5. 중복된 콘텐츠 문제

웹 사이트에 지나치게 중복된 콘텐츠가 많으면 검색엔진이 색인하기 어렵습니다.

6. Privacy 설정 관련

7. 웹 사이트의 메타 태그에 NOINDEX라고 쓰여진 경우

메타 태그에 NOINDEX라고 쓰는 것은 검색 로봇에게 웹 사이트를 색인하지 말라고 하는 것입니다.

<meta name="robots" content="NOINDEX, NOFOLLOW"/>

8. Ajax와 자바스크립트 문제

동적으로 생성되는 페이지는 구글이 수집하는 데 많은 어려움이 있습니다. 되도록 해당 페이지에서 구글 크롤러가 수집할 수 있도록 링크를 제공해야 합니다.

9. 웹 사이트 로딩 시간이 긴 경우

구글은 로딩 시간이 긴 웹 사이트를 좋아하지 않습니다. 웹 사이트 로딩에 너무 긴 시간이 걸리는 경우 구글은 색인하지 않고 넘어갑니다.