Wrzesień 2021 roku przyniósł kilka zmian w teście programów anty-malware. Nasza metodologia badania pozostała niezmienna, czyli nadal używaliśmy tylko prawdziwych zagrożeń, które można spotkać każdego dnia w Internecie i w załącznikach pocztowych. W przeciwieństwie do poprzednich edycji badania, tym razem wykorzystaliśmy o 80% więcej próbek malware niż zwykle. Usprawniliśmy także wstępną weryfikację złośliwego oprogramowania, jeszcze przed analizą próbek kwalifikującą do testu. W tym teście, a także w kolejnych edycjach, będziemy wykorzystywać reguły Yara, aby lepiej dobierać szkodliwe oprogramowanie. Ma to wiele korzyści np. będziemy szybciej odrzucać uszkodzone próbki i to bez wstępnej weryfikacji w maszynie Sandbox. Zaoszczędzi to czas i pozwoli testować więcej zagrożeń. O szczegółach napiszemy już wkrótce, uzupełniając materiały dotyczące metodologii.
Podczas wrześniowej edycji Advanced In The Wild Malware Test wykorzystaliśmy ponad 2200 próbek złośliwego oprogramowania. Przetestowaliśmy skuteczność ochrony następujących programów:
- Avast Free Antivirus
- Avira Antivirus Pro
- Comodo Advanced Endpoint Protection (wersja dla biznesu)
- Wersja dla domu: Comodo Internet Security
- Emsisoft Business Security (wersja dla firm)
- Microsoft Defender
- Panda Dome
- SecureAPlus Pro
- Webroot Antivirus
Poziomy blokowania próbek złośliwego oprogramowania
Dla entuzjastów i miłośników bezpieczeństwa udostępniamy sumy kontrolne szkodliwego oprogramowania z podziałem na technologie ochronne, które przyczyniły się do wykrycia i zablokowania zagrożenia. Według niezależnych ekspertów tego typu podejście do porównywania zabezpieczeń pomaga lepiej zrozumieć rozbieżności pomiędzy dostępnymi produktami na rynku.
Blokowanie każdej próbki szkodliwego oprogramowania przez testowane rozwiązanie ochronne zostało podzielone na kilka poziomów:
- Poziom 1 (L1): Poziom przeglądarki, czyli wirus został zatrzymany przed albo tuż po pobraniu na dysk.
- Poziom 2 (L2): Poziom systemu, czyli wirus został pobrany, ale nie dopuszczono do uruchomienia.
- Poziom 3 (L3): Poziom analizy, czyli wirus został uruchomiony i zablokowany przez testowany produkt.
- Niepowodzenie (F): Niepowodzenie, czyli wirus nie został zablokowany i zainfekował system.
Ustawienia produktów i Windows 10: codzienny cykl testów
Testy przeprowadzamy w systemie Windows 10 Pro x64. Kontrola konta użytkownika (UAC) jest wyłączona, ponieważ celem testów jest sprawdzenie skuteczności ochrony produktu przed szkodliwym oprogramowaniem, a nie reagowanie systemu testującego na komunikaty Windows. Pozostałe ustawienia Windows są bez zmian.
System Windows 10 zawiera zainstalowane oprogramowanie: pakiet biurowy, przeglądarkę dokumentów, klient poczty oraz inne narzędzia i pliki, stwarzające pozory zwykłego środowiska roboczego.
Automatyczne aktualizacje systemu Windows 10 są wyłączone w danym miesiącu testów. Ze względu na możliwość awarii aktualizacje Windows 10 są dokonywane co kilka miesięcy pod ścisłą kontrolą.
Produkty zabezpieczające są aktualizowane jeden raz w ciągu doby. Zanim testy zostaną uruchomione następuje aktualizacja bazy danych wirusów i plików produktu ochronnego. Oznacza to, że każdego dnia testowane są zawsze najnowsze wersje oprogramowania. Podczas testów wszystkie programy antywirusowe zawsze mają dostęp do Internetu.
VirusTotal vs prawdziwe środowisko robocze
Korzystamy z prawdziwych środowisk roboczych Windows 10 w trybie graficznym, dlatego wyniki dla poszczególnych próbek mogą się różnić od tych zaprezentowanych przez serwis VirusTotal. Zwracamy na to uwagę, ponieważ dociekliwi użytkownicy mogą porównywać nasze testy z wynikami skanowania na portalu VirusTotal. Okazuje się, że różnice są znaczące, pomiędzy rzeczywistymi produktami zainstalowanymi w Windows 10, a silnikami skanującymi w VirusTotal.
Złośliwe oprogramowanie
W sierpniu do testu wykorzystaliśmy 2218 próbek złośliwego oprogramowania, na które składały się m.in.: trojany, ransomware, backdoory, downloadery. W przeciwieństwie do pozostałych laboratoriów badawczych nasze testy są transparentne. Udostępniamy publicznie pełną listę próbek szkodliwego oprogramowania.
Najnowsze wyniki zablokowania każdej próbki są dostępne na stronie https://avlab.pl/en/recent-results w tabelce:
Podsumowanie sierpniowej edycji testu
Prawidłowa interpretacja testu na pierwszy rzut oka nie jest jednoznaczna. Owszem, prawie wszystkie programy uzyskały 100% ochrony. Często są to próbki podobne do siebie, wykrywane sygnaturami generycznie. Zdarzają się i takie, które podczas testu nie są rozpoznawalne dla danego producenta.
Najlepiej pokazuje to tzw. Level 3, ponieważ podczas tej analizy wirus jest już uruchomiony, a następnie oczekujemy prawidłowej reakcji testowanego programu. Obrazując to inaczej, jeżeli próbka nie została zablokowana skanowaniem w przeglądarce, ani w momencie przenoszenia z miejsca A do miejsca B na dysku systemowym, to po jej uruchomieniu bez wątpienia można uznać, że plik nie był znany dla producenta. Z tego powodu malware nie mogło zostać wykryte bez uprzedniego, dokładnego skanowania, a więc ochrona sygnaturami nie była wystarczająca. Nie każdy produkt anty-malware potrafi analizować plik, zanim dotrze on na dysk komputera, dlatego czasami musi być uruchomiony lokalnie lub w chmurze dla wykonania automatycznej analizy.
Przechodząc do meritum podsumowania. Warto zwracać uwagę na poziom analizy Level 3, który pokazuje realną ochronę przed próbkami zero-day. Ale uwaga! Niektóre programy anty-malware nie posiadają ochrony w przeglądarce, albo nawet ochrony sygnaturami, co bez odpowiedniej interpretacji testu wskazywałoby na gorszy wynik.
W naszych testach nie przyznajemy ujemnych punktów, ani dodatnich za wczesną blokadę zagrożenia. Po prostu rozwiązanie anty-malware powinno zablokować zagrożenie w dowolny sposób, przewidziany przez producenta. Wynikiem końcowym jest to, czy udało się to zrobić poprawnie przy użyciu dowolnych modułów ochronnych.
