안티 바이러스 테스트에서 시만텍을 능가하는 Microsoft

AV-Comparatives의 최신 주문형 테스트에서, 잘못된 프로그램으로 인해 상당수의 제품에서 포인트를 잃어 버렸습니다. 유효한 프로그램을 맬웨어로 잘못 식별했습니다. 시만텍과 Microsoft는 맬웨어 샘플 탐지를 기준으로 동일한 점수를 얻었지만 오 탐지로 인해 점수를 잃었습니다. 그러나 그보다 더 많은 이야기가 있습니다.

주문형 검색

주문형 검색 테스트는 테스트 된 각 제품을 "지난 주 / 달의 샘플을 현장에서 사용자에게 타격을 가한 샘플"모음에 노출시킵니다. 유사한 파일을 분류하고 샘플 세트 크기를 줄이기 위해 샘플을 추가로 분석하므로 "각 미스는 하나의 누락 된 그룹을 나타냅니다." 이 특정 테스트는 136, 610 개의 최근 샘플을 사용합니다. 제품의 초기 점수는 탐지 된 샘플의 백분율입니다.

놀랍게도 시만텍의 Norton AntiVirus는 탐지율이 91.2 %로 가장 낮았습니다 (가양 성을 고려하기 전). Microsoft Security Essentials가 더 높아져 샘플의 92 %를 탐지했습니다. 99.9 %의 탐지로 G Data AntiVirus가 목록에서 1 위를 차지했습니다. 다른 일부는 99 % 이상을 관리했습니다.

오 탐지

AV-Comparatives 연구자들은 클러스터링 기술을 사용하여 ADVANCED + (최고 등급)와 ADVANCED 및 ADVANCED를 STANDARD에서 분리하는 컷오프 지점을 식별합니다. 이것이 시작점이지만 많은 (16 ~ 50) 오 탐지가 많은 제품은 하나의 등급 수준을 잃고 매우 많은 (51 ~ 100)을 가진 제품은 2를 잃게됩니다. 초기 등급에 관계없이, 제품에 "미친 많은"(100 개 이상) 오 탐지가 표시되면 항상 TESTED의 합격이 아닌 등급을받습니다.

테스트 된 20 개의 제품 중 9 개는 많은 오탐 (false positive)으로 인해 하나의 등급을 잃었습니다. 적어도 그들 중 누구도 FP가 많거나 "많은 것"이 없었습니다. AhnLab처럼 STANDARD 등급으로 시작한 Norton은 TESTED로 떨어졌습니다. ADVANCED + 등급의 승자 서클에서 Avira, Bitdefender, BullGuard, F-Secure 및 Kaspersky를 찾을 수 있습니다. 전체 보고서를 보려면 여기를 클릭하십시오.

수상 섹션에 Microsoft가 표시되지 않습니다. 처음에는 이것이 감독 인줄 알았지 만 AV-Comparatives의 공동 창업자 인 Peter Stelzhammer가 저를 곧장 설득 시켰습니다. Stelzhammer는 "기본적으로 Windows에서 기본 제공 보호 기능이 활성화되어 있으므로 더 이상 (및 추가 테스트에서) 더 이상 수상 섹션에 Microsoft를 등재하지 않기로 결정했습니다." 비슷한 방식으로 AV-Test는 Microsoft의 점수를 최소 기준으로 취급하기로 선택했습니다.

가중 거짓 긍정

시만텍은 몇 년 동안 단순한 오 탐지 수가 유용하지 않다고 주장했습니다. 시만텍 연구원은 오 탐지 검사에 관련된 파일의 보급률에 따른 가중치를 포함 할 것을 권장합니다. 이들은 Norton Insight 분석 시스템이 유병률이 낮은 파일을 제외한 모든 파일에 대해 오 탐지 가능성을 배제한다고 주장합니다. AV-Comparatives의 보조 문서는 그것이 옳을 수도 있다고 제안합니다.

주문형 보고서의 False Positives 부록에는 사용 된 맬웨어 이름 및 유병률 추정치와 함께 각 제품에서 맬웨어로 잘못 감지 한 모든 단일 파일이 나열되어 있습니다. 그들은 "아마도 100 명 미만의 사용자"에서 "아마 수십만 (또는 수백만)"에 이르는 5 가지 수준을 식별했습니다.

보시다시피, 저는 각 수준의 대표 사용자 수, 첫 번째 수준의 경우 50 명, 가장 높은 수준의 각 사용자의 10 배, 가장 보편적 인 프로그램의 50 만 명의 사용자를 선택합니다. 그런 다음 각 제품의 오 탐지에 영향을받을 수있는 사용자 수를 계산했습니다. 아래 차트에 표시된 결과는 AV 비교가 유사한 가중치 FP 계산을 사용해야한다고 제안합니다.

이 차트에서 가양 성으로 인해 등급 수준을 잃은 제품은 굵은 기울임 꼴로 표시됩니다. 가중치를 적용한 계산 결과 Norton FP는 잠재적으로 13, 750 명의 사용자에게 영향을 미칩니다. FP 수에 따라 찌그러지지 않은 일부 제품은 실제로 우승자 Kaspersky 및 F-Secure를 포함하여 시만텍보다 더 큰 영향을 미쳤습니다.

Emsisoft는 전체적으로 오 탐지 수가 38 개로 가장 많았습니다. 끔찍한가요? 그러나 유병률이 가장 높은 두 가지 수준은 없었기 때문에 이론적 인 효과는 총 6 개의 FP 또는 9 개의 FP가있는 ESET보다 소포스보다 낮습니다.

McAfee는 기본 주문형 테스트에서 ADVANCED 등급을 받았습니다. 15 개의 오탐 (false positive)으로 평가 수준을 잃을 수있는 수치가 너무 적습니다. 그러나 가중 계산은 Norton보다 거의 16 배 많은 2 억 명 이상의 사용자에게 영향을 미칠 가능성이 있습니다.

이것은 실제 숫자가 아니며, 오 탐지를 측정 할 때 유병률을 사용하는 것이 무엇을 의미하는지 이해하는 데 도움이되는 생각 실험입니다. 이 연습을 마친 후에는 AV-Comparatives가 자신의 오 탐지를 유병률로 평가할 수있는 방법을 찾을 수 있기를 바랍니다. 숫자를 세는 것만으로는 충분하지 않습니다.