딥 크롤링 검토 및 평가

DeepCrawl은 처음 살펴본 이후 가격을 조금 올렸습니다. 이 도구는 이제 매달 청구되는 월 89 달러부터 시작합니다. 연간 청구시 $ 81.50). 이전보다 10 달러 정도 비싸므로 대부분의 검색 엔진 최적화 (SEO) 툴 고객에게는 문제가되지 않습니다. 그러나 디자인에 초점을 맞출 수 있습니다.이 도구는 내부 및 상단에서 하단까지 웹 사이트 크롤링이라는 한 가지 목적만을위한 것입니다. SEO 도구는 일반적으로 세 가지 주요 범주로 그룹화 할 수 있습니다. 먼저 임시 키워드 조사를 통해 콘텐츠에 가장 적합한 검색 페이지를 찾는 데 도움이됩니다. 다음으로 지속적인 위치 모니터링이 있는데, 이는 검색 위치를 추적하여 어디에서지고 있는지와 지는지를 식별하는 방법입니다. 마지막으로, 웹 봇이 단일 웹 사이트를 구문 분석하거나 전체 인터넷을 체계적으로 크롤링하고 색인을 생성하는 크롤링이 있습니다. DeepCrawl은 인터넷 전체에서 크롤링을 수행하지 않지만 웹 사이트에서 검색 엔진 최적화 "전신 스캔"을 포괄적으로 제공합니다.

이러한 종류의 심층 사이트 크롤링은 여러 가지 방법으로 비즈니스에 유용합니다. DeepCrawl은 사이트 문제를 강조하려는 초보 사용자 또는 크롤링을 사용자 지정하는 고급 사용자를위한 도구이지만 데이터 액세스에 대한 제한은 없습니다. 또한 크롤링은 실시간 및 기록 컨텍스트를 통해 사이트 상태를보다 쉽게 ​​모니터링 할 수있게 해주므로 기업은 매년 크롤링을 비교하고 다양한 추세와 보고서 유형을 드릴 다운 할 수 있습니다. 가장 효과적인 전략을 위해서는 세 가지 범주의 SEO에 걸쳐 여러 도구를 조합하여 사용해야하며, 사이트 크롤러는 자신의 웹 사이트 및 방문 페이지의 강점과 약점을 식별하는 방법입니다.

편집자 선택 SEO 도구 Moz Pro, SpyFu 및 AWR Cloud는 키워드 및 위치 모니터링의 깊이가 훨씬 크지 만 크롤링 및 사이트 감사 기능은 거의 없습니다. 예를 들어 Editors 'Choice 도구 중 하나 또는 KWFinder.com과 같은 키워드 별 제품을 사용하여 대상 검색 엔진 결과 페이지 (SERP)를 식별하고 콘텐츠의 순위를 결정하는 데 이상적인 지점을 찾은 경우 페이지 구성을 생성하고 해당 페이지의 순위를 정하기 위해 사이트가 개선하고 해결하는 데 필요한 특정 SEO 문제를 식별하기 위해 사이트 아키텍처의 DeepCrawl 스캔. AWR Cloud와 같은 모니터링 도구에서 추적하거나 사이트가 Google 검색 페널티에 부딪친 이유와 복구 방법에 대한 근본 원인 분석을 수행하여 콘텐츠가 검색 순위에서 잃어버린 이유를 파악합니다. 조만간 SEO 전략은 항상 자신의 사이트 감사로 돌아옵니다. 그것은 DeepCrawl의 유일한 직업입니다.

가격 및 계획

언급 한 바와 같이, DeepCrawl은 시작 계획에 대해 매년 (월간 89 달러) 청구되는 월 81.50 달러부터 시작합니다.이 계획에는 100, 000 개의 활성 URL, 5 개의 활성 프로젝트 및 전체 API (Application Programming Interface) 액세스가 제공됩니다. 대부분의 SEO 도구는 엔터프라이즈 계층에 대한 API 액세스를 예약합니다. 이는 엔터프라이즈 가격표없이 더 깊이있는 사용자 정의를 원하는 DeepCrawl 사용자에게 확실한 이점입니다.

이 도구를 마지막으로 검토 한 이후에 발생한 또 다른 변경 사항은 회사가 다른 가격 계획을 폐지했다는 것입니다. 서비스에 온라인으로 가입하려는 사람들에게는 시작 계획이 있으며 그게 전부입니다. 보다 향상된 기능과 향상된 서비스 옵션은 이제 하나의 다른 계획 유형 인 회사 계획에서만 사용할 수 있습니다. "주문 된"가격 외에, 여기에는 세부적인 내용이 없지만 회사 대표에게 전화를 걸어 서비스 및 가격 계획을 고객의 요구에 맞게 조정할 수 있다고 가정합니다.

웹 사이트 크롤링

DeepCrawl의 사이트 크롤링 프로세스는 빠른 4 단계 설정으로 시작합니다. 하나의 크롤링에서 최대 5 개의 소스, 사이트 맵, 웹 사이트, 분석, 백 링크 및 URL 목록을 포함 할 수 있습니다. 이는 Orphaned Pages Driving Traffic과 같은 다른 크롤링 도구에서는 찾을 수없는 특정 메트릭을 사용하여 사이트 아키텍처의 차이를 쉽게 식별 할 수 있도록하는 것입니다. DeepCrawl은 SEO 가시성을 높이고 유기적 트래픽을 수익으로 전환 할 수있는 실행 가능한 데이터 및 통찰력과 함께 웹 사이트 기술 건강에 대한 전체 개요를 사용자에게 제공하도록 설계되었습니다.

무료 DeepCrawl 평가판에 가입하면 인터페이스가 먼저 프로젝트 대시 보드로 이동합니다. PCMag Test 프로젝트를 설정하기 위해 PCMag.com을 기본 도메인으로 입력했습니다. 2 단계는 웹 사이트 자체, PCMag의 사이트 맵 및 활성 Google 웹 로그 분석 계정으로 액세스 할 수있는 분석을 포함하여 크롤링을위한 데이터 소스를 선택하는 것입니다. 특정 백 링크 또는 URL 목록의 CSV 파일을 업로드하여 도메인 내에 특정 백 링크 및 URL 타겟 매개 변수를 추가 할 수도 있습니다 (예: 키워드 조사 도구에서 타겟 페이지를 식별 한 경우). 또한 페이지 하단에 DeepCrawl 프로젝트 및 크롤링을 설정하는 방법에 대한 비디오 자습서를 볼 수있는 팝업 상자가 있습니다.

3 단계에서는 크롤링 자체에 대한 매개 변수를 설정할 수 있습니다. 크롤링 속도를 한 URL에서 초당 50 개의 URL로 전환 할 수있었습니다. 여기에서 PCMag 홈페이지에서 검색 할 "크롤링 수준"수를 설정하고 크롤링을 중지 할 최대 URL 수를 설정할 수 있습니다. 무료 평가판은 스타터 플랜에 대한 것이므로 URL은 100, 000 개로 제한되었습니다. 마지막 단계는 크롤링 시작 및 종료 시간을 설정하는 옵션을 사용하여 시간별, 일별, 주별, 격주 별, 월별 또는 분기 별 일회성 또는 반복 크롤링 여부를 설정하는 것입니다.

정기적 인 사이트 감사가 필요하지만 선택한 계획에 따라 URL 제한에주의해야 할 경우 설정해야하는 중요한 기능입니다. 더 깊은 크롤링 제한, 제외 된 URL, URL 재 작성 및 API 콜백에 대한 고급 설정도 있지만 기술이 아닌 SEO 사용자는 반드시 그에 접근 할 필요는 없습니다. 거기서 크롤링 시작을 클릭하고 몇 분 후 크롤링이 완료되면 이메일을 받았습니다.

완성 된 크롤링 대시 보드에서 즉시 정보를 얻을 수 있습니다. 원하는 것을 알고 있다면 상단에 특정 URL을 찾거나 사이트 아키텍처의 특정 영역에 대한 보고서를 찾을 수있는 이중 검색 막대가 있습니다. 이것은 본문 내용 및 소셜 태그에서 실패한 URL 및 웹 사이트 리디렉션에 이르기까지 다양 할 수 있습니다. 전체적으로 DeepCrawl은 내 URL에 대해 175 개의 보고서를 실행했으며 무료 평가판에서는 10, 000 개가 약간 넘는 것으로 나타 났으며 30 개의 사이트 문제를 발견하고 6 개의 "수준"또는 링크를 홈페이지에서 크롤링했습니다.

기본 대시 보드 페이지는 모든 현재 사이트 문제의 목록 분류를 제공합니다. 여기에서 DeepCrawl이 중복 컨텐츠, 깨진 페이지, 초과 링크 또는 제목, 설명 및 페이지가있는 페이지 오류와 같은 페이지 오류를 강조 표시하는 특정 URL로 드릴 다운 할 수 있습니다. SEO 개선이 필요한 메타 데이터. 이 목록 옆에 10, 000 개 이상의 크롤링 된 페이지 중에서 가장 널리 알려진 문제에 대한 대화 형 원형 차트 페이지 분류가 있습니다.

DeepCrawl은 또한 첫 번째 검토 이후 각 페이지에 이동 경로를 추가하여 플랫폼의 다른 부분으로 쉽게 탐색하고 대시 보드 섹션을 추가하여 한 곳에서 실행중인 모든 크롤링을 평가할 수 있도록 UI (사용자 인터페이스)를 업데이트했습니다. 내 도메인의 경우 내 페이지의 49 % (대부분의 "기본"페이지)에는 큰 문제가 없지만 표면 아래의 내 페이지 중 30 %는 5xx 서버 오류를 처리했으며 5 %는 URL이 실패했으며 페이지의 16 %가 "인덱싱 할 수 없습니다". DeepCrawl에 따르면 5MX 오류는 PCMag 사이트가 크롤링의 측면을 차단하거나 서버가 처리하기에 너무 빨리 크롤링하기 때문에 발생했을 수 있습니다. DeepCrawl은 또한 기본으로 표시된 페이지에 반드시 문제가있는 것은 아니며 누락 된 페이지를 포함하고 값이 낮은 페이지를 제외하고 페이지 SEO 권장 사항으로 주석을 달도록 검토 할 수 있음을 분명히했습니다.

Ahrefs 및 Majestic을 포함하여 테스트 한 다른 크롤링 도구 중 일부는 기본 사이트 문제 및 백 링크 색인 생성을 포함하여 이러한 종류의 분류를 제공하므로 다른 사이트에서 사용자로 들어오는 하이퍼 링크를 의미합니다. 다른 사람들이하지 않는 것은 특히 DeepCrawl 이하는 점, 특히 HTTP와 달리보다 안전한 HTTPS 프로토콜로 보안되는 페이지와 같은 분류로 페이지를 순위 매김 할 때 Google 알고리즘이 고려하는 점까지 더 깊이 파고 들었습니다.

DeepCrawl은 또한 지능적인 페이지 그룹 (크롤링을 설정할 때 고급 설정에서 찾을 수 있음)을 제공합니다. 즉, 샘플링은 숫자가 아닌 페이지의 백분율을 기반으로합니다. 이러한 방식으로 페이지를 그룹화하면 크롤링간에 일관된 샘플링이 가능하다는 점에서 중요합니다. 과학적 실험으로 생각하십시오. 전자 상거래 웹 사이트 인 경우 제품 페이지의 20 %를 크롤링하는 경우 다음 크롤링에서 Deepcrawl은 추가, 제거, 누락 또는 변경된 페이지에 대해 동일한 20 %를 스캔합니다. 각 보고서. 또한 관심있는 특정 페이지 하위 세트로 크롤링을 타겟팅하므로 크롤링 시간과 비용이 줄어 듭니다.

마찬가지로 DeepCrawl의 사용자 지정 추출을 사용하여 선택한 매개 변수를 포함하거나 제외 할 수 있습니다. 초점 영역에서보다 전문적인 크롤링을 수행하도록 설계된 고급 기능입니다. 또한 사용자 정의 추출을 작성하려면 정규 표현식 언어 (Regex)에 대한 지식이 필요하기 때문에 기술이 아닌 사용자를 위해 사전 설정 사용자 정의 추출을 추가했습니다.

고급 리포팅

GSC 통합 외에도 DeepCrawl의 가장 눈에 띄는 향상 기능은보고 기능에 있으며 DeepCrawl은 지난해 75 개의 새로운 보고서를 추가했습니다. 보고서 공유 및 내보내기 또는 해당 보고서에 대한 작업 추가와 같은 기본 사항 외에도 공유 버튼을 클릭하여 해당 보고서에 대한 공유 가능한 링크를 얻을 수 있습니다. 그런 다음 보고서를 여러 수신자에게 이메일로 보낼 수 있습니다. 보고서를 CSV 파일 또는 XML 사이트 맵으로 다운로드하고 사용자 정의 브랜딩을 사용하여 보고서를 사용자 정의 할 수도 있습니다.

작업 기반 기능이 특히 유용합니다. DeepCrawl을 통해 특정 취약점 (이 경우 5xx 서버 오류 목록)에 대한 작업을 추가하여 해당 SEO 취약점에 대한 조치를 취할 수있었습니다. DeepCrawl을 사용하면 크롤링을 예약하고 사용자 지정할 수있을뿐만 아니라 작업 관리자를 사용하여 진행 상황을 추적하고 문제 및 마감일 워크 플로를 관리 할 수 ​​있습니다. 좋은 도구의 표시는 문제 나 기회를 발견 할뿐만 아니라 조치를 취하는 데 도움이되는 도구입니다. 대상 권장 사항과 함께. 공개 또는 고정 작업을 설정할 수있는 옵션이 제공되었습니다. 낮음, 중간, 높음 또는 중요 우선 순위를 지정하십시오. 마감일을 정하고 해당 작업을 팀의 특정 개인에게 할당하십시오. DeepCrawl은 내 사이트의 SEO 문제를 해결하는 실질적인 길을 제시했습니다. SpyFu와 KWFinder.com의 목표 권장 사항 만 SEO보고에 대해 동일한 기능을 제공했으며 다른 크롤러에는 이러한 종류의 작업 기반 작업 기능이 포함되지 않았습니다.

DeepCrawl은 키워드가 보고서를 실제로 제목에 표시되지 않더라도 키워드를 사용하여 보고서를 찾고 관련 URL 또는 링크 메트릭으로 보고서를 필터링하도록 왼쪽 탐색 검색 막대를 개선했습니다. 보고서 및 범주 화면에는 분석 그래프, 관련 그래프, 새로운 트렌드 그래프 및 그래프 스크롤 및 토글과 같은 UX 개선 기능을 비롯하여 여러 가지 새로운 데이터 시각화 기능이 제공되며 특정 그래프에 나타나는 특정 메트릭에 대한 대화식 설명도 제공됩니다. 보고서 대시 보드 UI도 유연하므로 표시하려는 보고서를 끌어서 놓을 수 있습니다.

보고서에서 URL을 클릭하면 페이지 당 세부 메트릭이 제공됩니다. 모든 URL 별 URL 보고서에서 DeepCrawl은 DeepRank라는 맞춤 측정 항목을 사용합니다.이 측정 항목은 Google의 PageRank 알고리즘과 유사하게 계산 된 링크의 "내부 가중치"를 측정합니다. 가장 중요한 URL 또는 가장 개선이 필요한 URL을 보여주는 DeepCrawl의 URL 권한 메트릭 (0-10)입니다. 따라서 PCMag 홈페이지와 톱 페이지는 모두 8-10 범위로 순위가 매겨졌지만 일부 문제가 발생한 페이지는 DeepRank가 0에 가깝습니다.

DeepCrawl에는 Google 웹 로그 분석과의 동기화 외에도 반응 형 웹 디자인뿐만 아니라 별도의 모바일 및 데스크톱 페이지, 동적 페이지 및 AMP 페이지를 포함한 모든 모바일 구성을위한 데스크톱 및 모바일 페이지를 분류하는 데이터 섹션이 포함되어 있습니다. 이러한 유형의 주요 모바일 분류는 SpyFu 및 SEMrush에서도 찾을 수 있지만 DeepCrawl의 메트릭 깊이는 아니고 LinkResearchTools를 포함하여 테스트 한 다른 크롤러 및 백 링크 추적 도구에는 없습니다.

초기 검토 이후 DeepCrawl의 가장 큰 기능 업데이트는 Google 검색 콘솔 (GSC)과의 통합 및 더욱 고급 페이지 별 사용자 경험 (UX) 및 사이트 성능 측정 항목입니다. 통합을 통해 DeepCrawl의 기존 사이트 성능 통찰력을 GSC의 Search Analytics 보고서의 자연 검색 정보와 연결할 수 있습니다. 크롤링 설정에서 Search Console 속성을 URL 소스로 추가함으로써 DeepCrawl은 이제 검색 결과에 나타나는 모든 색인 페이지의 노출, 클릭, 클릭률 (CTR) 및 평균 게재 순위 측정 항목을 제공 할 수 있습니다. Google의 검색 분석 보고서는 GSC 인터페이스에서 URL을 1, 000 개로 제한하지만 DeepCrawl을 통해 보고서에 액세스하면 문제를 해결할 수 있습니다.

SEMrush 및 Majestic과 같은 다른 SEO 도구도 Google Search Console과 통합되지만 DeepCrawl의 통합은이를 사용하여 기기 별 SERP 측정 항목을 제공하기 위해이 도구를 사용하여 테스트 한 유일한 도구입니다. 통합을 통해 DeepCrawl은 10 개의 새로운 보고서, 2 개의 새로운 그래프 및 더 깊은 데스크탑 / 모바일 / 태블릿 비교를 발표했습니다. 기기 분류 및 비교는 이제 국가 별 GSC 데이터, 검색 가능 및 색인 생성 가능 및 색인 생성 불가능한 페이지에 대한 효과, 이미지 검색에서 트래픽을 얻는 크롤링 페이지 및 Google AMP 페이지의 측정 항목을 가져옵니다.

여기에서 고유 한 기능 중 하나는 데스크톱 트래픽을 수신하는 모바일 / AMP 페이지의 측정 값이며 그 반대도 마찬가지입니다. 즉, DeepCrawl에서 페이지가 잘못된 장치에서 순위를 매기면 표시됩니다. 이는 DeepCrawl이 모든 별도의 모바일 또는 AMP URL을 크롤링하여 데스크탑과 모바일 컨텐츠의 차이점과 불일치를 강조한다는 의미입니다. 보고서는 중요한 페이지가 모두 모바일에 존재하는지 확인합니다.

DeepCrawl은 유효한 Twitter 카드가있는 페이지와 같은 소셜 태깅에 대한 데이터와로드 시간 또는 페이지를 "페치"하는 데 걸린 시간으로 페이지 성능을 간단히 표시하는 탭을 제공합니다. 마지막으로이 도구는 웹 사이트 마이그레이션 보고서를 제공하여 마이그레이션 중 라이브 및 준비 웹 사이트를 분석하고 특히 HTTP 및 HTTP 페이지에보고합니다. 이는 웹 사이트 모니터링 도구에서 볼 수있는 측정 항목이지만 SEO 측면에서 UX가 부족한 페이지를 식별하고 원활한 웹 사이트 마이그레이션을 보장하는 데 유용 할 수 있습니다.

사이트 크롤링 현미경 아래

DeepCrawl은 우리가 테스트 한 최고의 크롤링 도구입니다. SEO 초보자에게는 정직하게 압도 할 수있는 매우 세분화 된 데이터 및 메트릭을 통해 가장 심도 깊은 도메인 스캐닝 및 SEO보고 기능을 제공합니다. 그것이 제공하는 사이트 아키텍처 매핑 및 도메인 분석의 대부분은 개발자와 IT에 더 적합 할 것입니다. PCMag는 베타 기능을 검토하지 않지만 DeepCrawl은 사이트 아키텍처를 시각적으로 탐색 할 수있는 실험적인 사이트 탐색기 모드도 테스트하고 있습니다.

KWFinder.com의 애드혹 키워드 연구에서 우위를 점했듯이 DeepCrawl의 크롤링에 대한 레이저의 초점은 축복과 저주입니다. 기능의이 좁은 범위는 DeepCrawl이 더 정통한 SEO 플랫폼 인 Moz Pro 및 SpyFu와 함께 Editors 'Choice를 끄는 것을 막습니다. 그러나 DeepCrawl은 웹 사이트 또는 경쟁 업체의 사이트를 위에서 아래로 스캔하는 독립형 크롤링 기능 측면에서 고성능 SEO 현미경입니다.