Niezależne laboratorium z Niemiec AV-Test, opublikowało wyniki badań 18 antywirusów przeznaczonych dla systemu MacOSX. Wyniki są ciekawe i trochę zaskakujące, szczególnie tych aplikacji, które są w samym ogonie. Nieczęsto testuje się produkty pod system Mac, dlatego warto zapoznać się z wynikami programów, z których korzystamy na co dzień pod Windowsem.
Próbki
Jak powiedział Andreas Marx, AV-Test miesięcznie otrzymuje ponad 400 000 próbek dla systemu Windows, ponad 5000 próbek na Andorida, ale tylko mniej niż 100 na system Mac. Pokazuje to hierarchie i popularność poszczególnych systemów, ale także poziom bezpieczeństwa. AV-Test zwykle przeprowadza test na 100 000 probkach dla Windows, w przypadku tego testu, liczba próbek to tylko 117 (aplikacje, skrypty i archiwa). Warto mieć to na uwadze przy końcowej ocenie.
Metodologia
Badanie miało na celu sprawdzić skuteczność programów (test on-access i on-demand) i zbadać liczbę fałszywych alarmów. Każdy program testowany był na przygotowanym wcześniej i przywracanym obrazie systemu.
1. Aby zbadać wykrywalność produktów test podzielono na dwie części. Cześć pierwsza polegała na skanowaniu w tle 84 archiwów (on-access).
Skanowanie w tle / on-access odbywa się automatycznie podczas korzystania z komputera. Program skanuje pliki / procesy pod kątem podejrzanych zachowań korzystając z zaawansowanych technik heurystycznych lub z sygnatur. Każdy uruchamiany program, proces, załadowanie biblioteki, są sprawdzane pod kątem potencjalnej infekcji lub nietypowego zachowania aplikacji.
Test ten trwał kilka dni (czynności powtarzano, aby sprawdzić, czy nowe aktualizacje zwiększą wyniki). Sęk w tym, że programy domyślnie mogą nie skanować zarchwizowanych plików, gdyż wykonanie się kodu jest niemożliwe przed wyodrębnieniem.
Z kolei druga część testu sprawdzała skanowanie na żądanie (on-demand) na 117 próbkach (z wypakowanymi plikami). Sami mamy tu pewne wątpliwości, co do realnej skuteczności programów w tej części testu. Osoby, które nie zapoznają się z metodologią nie mogą wiedzieć, że badanie sprawdzało wykrywalność programów w powszechnym (i nie mającym wiele wspólnego z rzeczywistością) teście skanowania na żądanie – czyli test statyczny, popularny skan z prawokliku. Metoda ta była wiarygodna w erze ochrony sygnaturami. Obecnie nie może być jedynym wyznacznikiem oceniającym antywirusy (na szczęście była to tylko 1 z 3 metod).
2. Aby sprawdzić fałszywe alarmy AV-Test wykorzystał 100 programów pod system Mac i sprawdził, które antywirusy wykryją program jako zagrożenie. W teście tym nie było negatywnch wyników. Żaden z przebadanych produktów nie zidentyfikował tych aplikacji jako szkodliwe.
Wyniki
Najlepszy wynik osiągnął Bitdefender Antivirus for Mac, eScan for Mac, G Data Antivirus for Mac i Norman Antivirus for Mac. Wszystkie te programy wykryły 100 procent próbek w każdym teście. 11 z 18 badanych produktów osiągnęło wykrywalność na poziomie ponad 90 procent.
Wszystkie produkty, które są w stanie wykryć więcej niż 90 procent użytego do badań materiału badawczego, są dobre i zalecane. Produkty z wynikiem większym niż 95 procent mogą być uznawane za bardzo dobre i bardzo skuteczne.
– powiedział Andreas Marx
| Producent | on-access | on-demand |
|---|---|---|
| Webroot | 22,6 | 19,7 |
| McAfee | 21,4 | 26,5 |
| Trend Micro | 33,3 | 38,5 |
| Symantec | 50,0 | 54,7 |
| Avira | 70,2 | 68,4 |
| AVG | 82,1 | 82,1 |
| Comodo | 78,6 | 83,8 |
| Kaspersky | 95,2 | 93,2 |
| Sophos | 97,6 | 96,6 |
| avast! | 100 | 97,4 |
| Panda | 98,8 | 98,3 |
| Intego | 98,8 | 98,3 |
| F-Secure | 97,6 | 98,3 |
| ESET | 98,8 | 99,1 |
| Norman | 100 | 100 |
| Microworld (eScan) | 100 | 100 |
| G Data | 100 | 100 |
| Bitdefender | 100 | 100 |
Oficjalne odpowiedzi o vendorów
W publicznym oświadczeniu, Patrick Kennedy z Webroota powiedział:
Chociaż jesteśmy rozczarowani wynikami badań, chcemy zapewnić naszych klientów, że są oni chronieni w sytuacjach realnych. Niedawno odkryto błąd w programie, który naszym zdaniem negatywnie wpłynął na naszą skuteczność w badaniu AV-Testu, nie oznacza, że Webroot działał nieprawidłowo. Był to błąd w naszym produkcie, który został już naprawiony.
Webroot w skanowaniu na żądanie wypadł tak słabo, ponieważ nie skanuje on plików wewnątrz archiwów, każde malware zostanie wykryte przez skaner on-access, zanim zdąży wykonać się. Dodamy możliwość skanowania plików archiwalnych dla wcześniejszego wykrywania złośliwego oprogramowania. Funkcja ta będzie dostępna w kolejnej wersji programu.
Przedstawiciel firmy Trend Micro:
Obecnie skupiliśmy naszą uwagę na wykrywaniu szkodliwego oprogramowania i PUA w systemie Mac, o czym nasi klienci wiedzą. Wykorzystane próbki w badaniu nie odzwierciedlały sygnatur w naszej bazie. Nasz produkt ma wiele innych warstw ochrony, które nie brały udziału w prostym badaniu na wykrywanie plików. Jesteśmy zobowiązani do poprawy naszego rozwiązania, które pozwoli nam osiągać lepsze wyniki w przyszłych badaniach.
Gary Davis z McAfee:
McAfee nadal intensywnie koncentruje się na ochronie użytkowników przed zagrożeniami online. Mimo to, wykrywanie statycznych próbek ma jakąś wartość, chociaż nie badano innych warstw ochrony. Jesteśmy świadomi, jaki wynik osiągnął nasz produkt w tym badaniu i już pracujemy nad tym, aby zoptymalizować nasze zdolności wykrywania szkodliwego oprogramowania dla Mac, w podobny sposób jak zrobiliśmy to dla Windows.
Odpowiedź Symanteca:
AV-test wybrał inną wersję produktu do testu niż chcielibyśmy. Wolelibyśmy wersję 6.1 beta naszego produktu, który zawiera ważne rozszerzenia ochrony, AV-TEST oceniał starszą wersję pakietu Norton Internet Security for Mac.
Szczegóły testu na http://www.av-test.org/en/press/test-results/
źródło cytatów: securitywatch.pcmag.com | Pobierz raport w exelu
