많은 보안 제품군이 실제 테스트에서 보호 기능을 향상시킵니다.

인스 브루 크에 소재한 AV-Comparatives의 연구원들은 실제 사용자의 경험에 최대한 근접한 방식으로 보안 제품군의 보호 기능을 테스트하기 위해 지칠 줄 모르고 일하고 있습니다. 그들은 매일 약 20 개의 스위트를 실제 멀웨어 공격에 노출시키고 자동화 된 시스템을 사용하여 제품의 테스트 수준을 기록합니다. 지난 6 개월 동안 3, 000 개가 넘는 테스트 사례를 통과했습니다. 반년 동안의 결과가 나오고 있으며 지난 보고서 이후 많은 제품이 개선되었습니다.

표본 크기의 중요성

이와 같은 테스트는 더 많은 샘플 세트에서 더 정확한 결과를 얻을 수 있다는 것이 직관적으로 분명하지만 이번에는 AV-Comparatives를 중심으로 너무 작은 샘플 세트의 결과를 명확하게 설명했습니다. 간단한 별도의 보고서는 통계를 제시하며 약간 놀랍습니다.

특정 제품이 10, 000 개의 악성 코드 샘플에서 80 %를 탐지했다고 가정 해 봅시다. 이제 동일한 컬렉션에서 무작위로 10 개의 샘플 만 선택한다고 가정합니다. 이 보고서는 가능한 모든 결과에 대한 차트를 사용하여 동일한 탐지율, 높은 탐지율 또는 낮은 탐지율을 달성 할 가능성이 거의 같음을 보여줍니다. 그렇습니다. 10 개의 샘플로 절단하는 것은 극단적 인 경우입니다.

테스트 방법

연구팀은 자동 및 수동 검색 방법을 사용하여 매일 실제 악성 URL을 수집합니다. 특히 악성 코드 파일 및 드라이브 바이 다운로드 사이트로 직접 연결되는 링크를 선택합니다. 하루의 샘플을 하나씩 살펴보면서 모든 제품을 특정 URL에 동시에 노출하고 각 제품의 반응을 관찰합니다. 제품군의 구성 요소가 맬웨어를 차단하면 성공입니다. 멀웨어가 지나쳐 하우스 키핑을 설정하면 이는 실패입니다.

때로는 스위트에서 무언가를 찾았다는 알림이 팝업되어 사용자에게 차단 또는 허용 여부를 묻습니다. 테스트 목적으로 AV-Comparatives 분석가는 항상 작업을 허용하도록 선택합니다. 이 조치에도 불구하고 시스템을 성공적으로 방어하는 제품은 완전한 신용을 얻습니다. 사용자의 잘못된 선택으로 인해 시스템이 손상 될 수있는 제품은 절반의 신용을 얻습니다.

특정 테스트 사례가 완료되면 모든 테스트 시스템이 다음 테스트 사례에 대비하여 사전 맬웨어 상태로 다시 이미지화됩니다.

오 탐지

보안 소프트웨어가 합법적 인 파일 또는 웹 사이트에 대한 액세스를 잘못 차단하면 오 탐지 결과가 발생합니다. 분명히 보안 제품군이 유효한 파일을 지우거나 무해한 웹 사이트로부터 멀어 지길 원하지 않습니다. AV-Comparatives는 무작위로 선택된 수천 개의 도메인과 약 100 개의 새롭고 인기있는 프로그램으로 각 제품을 테스트했습니다. 테스트 목적으로 다운로드 포털이 아닌 개발자 사이트에서 각 프로그램을 다운로드했습니다.

이 보고서는 통계 및 평판 기반 보안 분석이 종종 새로운 프로그램 및 사이트를 차단하거나 경고한다고 지적합니다. "그러한 보호 기술은 높은 점수를 얻는 데 도움이되지만 무고한 / 깨끗한 파일과 URL은 너무 새롭기 때문에 탐지 / 차단 될 수 있습니다." 이러한 유형의 탐지에 대한 강력한 지지자 인 Norton은 AV-Comparatives 테스트에 참여하지 않습니다.

많은 개선

현재 보고서에 포함 된 제품의 절반 이상이이 보고서의 이전 버전보다 더 높은 점수를 받았습니다. Vipre, McAfee 및 Fortinet는 지난 번에 모두 실패했으며 최저 등급 인 STANDARD도 얻지 못했습니다. 이번에는 Fortinet과 McAfee가 ADVANCED와 Vipre를 STANDARD로 평가했습니다. 세 사람 모두 오탐으로 인해 등급이 감소했습니다. 탐지 만 기준으로 McAfee와 Fortinet은 최고 등급 인 ADVANCED +를 평가했습니다.

eScan은 avast!에서 STANDARD에서 ADVANCED +로 점프했습니다., ESET 및 Trend Micro가 ADVANCED에서 ADVANCED +로 이동했습니다. STANDARD를 이전에 평가 한 다른 사람들은 이번에 ADVANCED 등급을 관리했습니다.

Bitdefender는 독립적 인 실험실 테스트에서 전반적으로 최고 점수를받습니다. 멀웨어 탐지를 기반으로 지난 번과 마찬가지로 ADVANCED +를 평가했지만 오 탐지로 인해 ADVANCED로 떨어졌습니다. F-Secure와 BullGuard도 마찬가지입니다.

AV-Comparatives 전체 제품 동적 테스트는 제가 경험 한 가장 노동 집약적 인 테스트 중 하나입니다. 연구소가 인스 브루 크 대학과 오스트리아 정부의 지원에 의존한다는 것은 놀라운 일이 아닙니다. 많은 작업이지만 최종 결과는 제품이 실제 사용자를 얼마나 잘 보호 할 수 있는가에 대한 테스트입니다.