Laboratoria AV-Test oraz AV-Comparatives przyzwyczaiły swoich czytelników do tego, że za każdym razem niemal wszystkim programom, które biorą udział w teście zostają przydzielone rekomendacje i certyfikaty. A wystarczy zapoznać się z badaniami angielskiego labu MRG Effitas, by się przekonać, że rynek antywirusowy nie wygląda tak różowo, jak go malują.
Angielski lab MRG Effitas po raz kolejny publikuje wyniki z testu “360 Degree Assessment & Certification”. Badanie zostało przeprowadzone w pierwszym kwartale 2016 roku w maszynie wirtualnej z systemem Windows 10 x64. Wnioski, jakie zostały przedstawione poniżej stawiają w złym świetle większość programów antywirusowych.
W badaniu symulowano normalne zachowanie użytkownika korzystającego z komputera. Z pośród szesnastu przetestowanych pakietów Internet Security, tylko pięć zdołało spełnić wymogi certyfikacji. Jednakże, żaden testowany produkt nie zdobył certyfikatu poziomu pierwszego.
- Avast Internet Security 2016 11.1.2253
- AVG Internet Security 2016 16.61.7538
- Avira Internet Security 14.0.16.208
- Bitdefender Internet Security 2016 20.0.26.1418
- ESET NOD32 Smart Security 9.0.375.0
- Kaspersky Internet Security 2016 16.0.0.614(d)
- Malwarebytes Anti-Malware* 2.2.1
- McAfee Internet Security 14.0.7086
- Microsoft Windows Defender
- Panda Internet Security 2016 16.1.2
- SurfRight Hitman Pro* 3.7.14
- Symantec Norton Security 22.6.0.142
- ThreatTrack VIPRE Internet Security 2016 9.0.1.4
- Trend Micro Internet Security 2016 10.0.0.1150
- Webroot SecureAnywhere Internet Security 9.0.7.46
- Zemana AntiMalware* 2.20.2.613
* Malwarebytes Anti-Malware, Surfright HitmanPro, Zemana AntiMalware są to opcjonalne narzędzia antywirusowe i/lub skanery na żądanie w wersji bezpłatnej, które wzięły udział w teście.
Certyfikat poziomu pierwszego (L1): aby zdobyć to wyróżnienie produkt musiał charakteryzować się bezproblemowym lub nienagannym działaniem podczas walki ze szkodliwym oprogramowaniem oraz zablokować wszystkie zagrożenia jeszcze przed zainfekowaniem systemu.
Certyfikat poziomu drugiego (L2): aby uzyskać certyfikat “Q1 2016 360 Certification”, testowany pakiet musiał po upływie 12 godzin i po ponownym uruchomieniu systemu operacyjnego zneutralizować zagrożenia, nawet te, które zostały uruchomione i doprowadziły do infekcji. System operacyjny musiał zostać oczyszczony z pozostałości po wirusach.
Spośród szesnastu programów tylko poniższe aplikacje pozytywie przeszły testy uzyskując certyfikat L2:
- Kaspersky Internet Security,
- SurfRight HitmanPro,
- Symantec Norton Security,
- Webroot SecureAnywhere Internet Security Plus
- Zemana Anti-Malware
Pozostałe programy nie zdobyły wyróżnienia – nie wykryły zagrożeń, nawet po 24 godzinach od ich uruchomienia w systemie operacyjnym.
Próbki do testów
Do testu wykorzystano materiał badawczy z różnych źródeł, jednak w przeciwieństwie do AV-C, MRG Effitas korzysta wyłącznie z własnych próbek.
- Około 50% z nich pochodziły ze zhakowanych stron internetowych, które rozprzestrzeniały malware.
- Kolejne 10% imitowało fałszywe strony z pornograficzną zawartością infekując odwiedzających.
- Pozostałe 40% adresów URL zostały zebrane z honeypotów.
Jak zaznaczają autorzy raportu, szkodliwe oprogramowanie wykorzystane w badaniu można uznać za 0-day w dosłownym tego słowa znaczeniu. Znajdowały się tutaj takie perełki jak najnowsze odmiany ransomware Locky, TeslaCrypt, droppery trojana bankowego Dridex i wiele innych. Do badania wykorzystano oprogramowanie typu PUA, jednak osiągnięte wyniki nie były brane pod uwagę w ocenie końcowej i nie miały wpływu na uzyskany certyfikat.
Wyniki dla pozostałych programów: HitmanPro (98,4% / 0,8%), Zemana (97,9% / 0,4%), Malwarebytes (73,7% / 2,1%). Punkty procentowe po znaku “slash” (“/”) oznaczają skuteczność detekcji PUA.
Uruchomione złośliwe pliki binarne musiały zostać wykryte przed upływem pierwszych 12 godzin. Jeśli tak się stało, a w pozostałych testach program poradził sobie bezbłędnie, uzyskiwał certyfikat L1. W przeciwnym wypadku, kiedy zagrożenie po upływie 12 godzin nie zostało wykryte, maszynę wirtualną uruchamiano ponownie. Do usunięcia konkretnych rodzin wirusów niektóre antywirusy wymagają ponownego uruchomienia systemu, dlatego też po upływie 12 godzin i po zrestartowaniu systemu, kluczową rolę odgrywało następnych 12 godzin. Jeśli w tym czasie zagrożenie nie zostało wykryte, cały test nie był zaliczany.
Dedykowane malware dla bankowości elektronicznej może aktywować swoje szkodliwe funkcje dopiero w momencie otworzenia konkretnej strony internetowej. Należy to mieć na uwadze analizując wyniki. Programy, które nie wykryły dropperów albo plików binarnych trojanów bankowych, mogły zrobić to dopiero w momencie otworzenia zdefiniowanej w kodzie wirusa strony banku. Testerzy nie brali tego pod uwagę.
Żaden z antywirusów nie uzyskał rekomendacji z certyfikatem poziomu pierwszego. Natomiast certyfikat „Q1 2016 360 Certification” poziomu drugiego zdobyły programy:
- Kaspersky Internet Security,
- SurfRight HitmanPro,
- Symantec Norton Security,
- Webroot SecureAnywhere Internet Security Plus
- Zemana Anti-Malware
