구글 애드센스 주기적 확인이 필요한 이유 크롤러 호스팅 서버 과부하

구글 애드센스 주기적 확인은 필요할까?

크로러 : 호스팅 서버 과부하 란?

여러분은 구글 애드센스를 얼만큼 자주 확인하시나요?

저는 초보라 거의 매일 확인을 하는 편인데요. ^^;; 

오늘은 알림창에 뭔가 떠있길레 클릭을 해봤더니 광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있다고 해서 깜짝 놀랐습니다.

초보들에게 이런 알림은 멘붕아닌가요? 

 

무슨 문제인지 확인을 하고 조치를 취하기 위해 구글링을 해봤습니다. 

먼저 크롤러가 뭔지 찾아봤습니다. 

다음은 위키피디아에서 크롤러에 대한 검색을 바탕으로 나온 내용들을 옮겨왔습니다.

웹 크롤러(web crawler)는 조직적, 자동화된 방법으로 월드 와이드 웹을 탐색하는 컴퓨터 프로그램이다. 

웹 크롤러가 하는 작업을 '웹 크롤링' 혹은 '스파이더링'이라 부른다. 검색 엔진과 같은 여러 사이트에서는 데이터의 최신 상태 유지를 위해 웹 크롤링한다. 크롤러가 방문한 사이트의 모든 페이지의 복사본을 생성하고, 검색엔진은 크롤러가 생성한 페이지의 복사본을 인덱싱 한다는 것을 오늘 첨 알게 되었습니다. 

 

그래도 당최 무슨말인지 하나도 모르겠더라고요.

일단 애드센스에서 무언가 수정할 수 있도록 방법을 제시해주지 않을까 하여 다시 한번 살펴봤습니다.

일단 크롤러:호스팅 서버 과부하에 링크가 되어서 클릭을 해보았습니다. 위에서 보시면 애드센스 크롤러가 사이트에 액세스 할 수 없습니다. 정책 위반 문제가 아닙니다.라고 되어있습니다. 그나마 다행인 거 맞죠?

그런데 이상한 것은 서버에 과부하가 발생했거나 너무 많은  URL로 인해 광고 크롤러에 과부하가 발생했기 때문이라는데 전혀 그럴만한 이유가 없거든요? 참 신기하네요. 지금 것 아무런 문제도 없었는데요. 광고도 본문 삽입 광고도 3개뿐이 안 넣었는데. 전에는 5~6개 넣어도 아무런 알림 창이 안 떴고 잘 돌아갔었는데 이유를 모르겠더라고요. 일단 자세히 알아보기를  클릭하고 다시 살펴보았습니다.

 

크게 3가지 원인이 나와있습니다. 

• 사이트에 로그인이 필요합니다. 광고 크롤러가 로그인 페이지로 리디렉션 되어 콘텐츠를 크롤링할 수 없습니다. 
• 콘텐츠가 제한된 네트워크 또는 IP 범위 뒤에 있습니다.  
• robots.txt 파일에서 광고 크롤러가 차단되었습니다. 

3가지다 해당사항이 없는 것 같았습니다. 뭐 잘은 모르지만요.

그래서 다시 크롤러 문제 및 해결 방법을 확인해 보세요  부분을 클릭해봤습니다.

그런데 공교롭게도 위에 올린 이미지가 나오는 페이지로 다시 들어가더라고요. 

 

액세스 문제 아래에는 사이트 문제와 호스팅 문제가 나와있었는데. 

이거 티스토리 블로그 이용하고 있는데요. 호스팅과 어떤 관련이 있을까 싶었어요.

일단 사이트 문제를 살펴보았는데요. 

• 사이트를 찾을 수 없습니다. 이건 전혀 해당사항이 없어서 패스
• 사이트에 새로 게시된 콘텐츠가 있습니다. 새 페이지를 게시하면 구글 크롤러가 콘텐츠를 크롤링하기 전에 광고 요청이 발생할 수 있습니다. 새 콘텐츠를 많이 게시하는 사이트로는 사용자 제작 콘텐츠, 뉴스 기사 또는 대규모 제품 인벤토리로 구성된 사이트와 날씨 사이트 등이 있습니다.라고 나와있는데 확인사항으로 최근에 게시된 새 콘텐츠가 있나요?라고 나와있이서 해결방법을 살펴보니 "광고 크롤러가 더 긴 시간에 걸쳐 새 콘텐츠를 크롤링할 수 있도록 허용하세요." 라는데 이거 개인적으로 뭔가 할 수 있는 건가요? 일반적으로 새 URL에 광고 요청이 이루어진 후 몇 분 이내에 콘텐츠가 크롤링됩니다. 이러한 몇 분 동안에는 콘텐츠가 크롤링되지 않아서 게재되는 광고가 적을 수 있습니다. 네 파란색 글씨는 애드센스 해결방법을 가져온 것입니다. 그런데 뭔 소린지 모르겠습니다. 혹시 아시는 분들 있으면 댓글로 좀 자세히 설명 부탁드립니다. 
• 사이트에서 다수의 리디렉션을 사용합니다. 이것도 해당사항이 없는데요.

도저히 문제를 해결할 수 없어 일단 커뮤니티의 도움을 받아보기 위해 질문을 남겼습니다. 

그리고 보니 나와 같은 문제로 고민했던 사람들이 있을 것 같아 기존 문서를 찾아보기로 했습니다.

아니나 다를까 아주 적당한 대답이 올라와있더군요.

 

특별히 제가 손댄 적 없었으니 혹시 티스토리의 문제가 아닐까? 생각해봅니다. 일단 좀 더 기다리며 어떻게 변화되는지 살펴볼 생각입니다.

이번에는 크롤링 문제였지만 또 어떤 문제가 어떻게 발생할지 초보는 두렵습니다. 구글 애드센스를 주기적으로 확인해봐야 필요가 있는 이유는 바로 이런 문제점들을 조기에 파악하고 조치함으로써 손실을 최소화하는 데 있지 않을까 생각해봅니다.