Majowa edycja testu o nazwie Advanced In The Wild Malware Test ujawnia odmienne podejście do zabezpieczenia Windows 10 przez producentów oprogramowania ochronnego. W badaniu zgodnym z taktykami i technikami MITRE poddaliśmy analizie 11 rozwiązań zabezpieczających urządzenia sieciowe. Trwający test nieprzerwanie przez cały miesiąc, 24 godziny na dobę, jest możliwy do przeprowadzenia, dzięki zaprogramowanemu systemowi testującemu, który za człowieka wykonuje żmudne obliczenia, automatyzując całą procedurę testów (agregowanie logów, analizowanie logów, wydawanie końcowego werdyktu). Wykorzystane narzędzia i działanie algorytmów opisaliśmy w tym artykule, jak i w metodologii.
W teście wzięliśmy pod uwagę te wersje programów, które zostały zaproponowane przez ich producentów. Oto pełna lista testowanych rozwiązań (w kolejności alfabetycznej):
- Avast Free Antivirus
- Avira Antivirus Pro
- Bitdefender Total Security
- Comodo Advanced Endpoint Protection
- Comodo Internet Security
- Emsisoft Business Security
- G DATA Total Security
- Kaspersky Total Security
- Microsoft Defender
- SecureAPlus Pro
- Webroot Antivirus
Ustawienia produktów i Windows 10: codzienny cykl testów
Testy przeprowadzamy w systemie Windows 10 Pro x64. Kontrola konta użytkownika (UAC) jest wyłączona, ponieważ celem testów jest sprawdzenie skuteczności ochrony produktu przed szkodliwym oprogramowaniem, a nie reagowanie systemu testującego na komunikaty Windows. Pozostałe ustawienia Windows są bez zmian.
System Windows 10 zawiera zainstalowane oprogramowanie: pakiet biurowy, przeglądarkę dokumentów, klient poczty oraz inne narzędzia i pliki, stwarzające pozory zwykłego środowiska roboczego.
Automatyczne aktualizacje systemu Windows 10 są wyłączone w danym miesiącu testów. Ze względu na możliwość awarii aktualizacje Windows 10 są dokonywane co kilka miesięcy pod ścisłą kontrolą.
Produkty zabezpieczające są aktualizowane jeden raz w ciągu doby. Zanim testy zostaną uruchomione następuje aktualizacja bazy danych wirusów i plików produktu ochronnego. Oznacza to, że każdego dnia testowane są zawsze najnowsze wersje oprogramowania. Podczas testów wszystkie programy antywirusowe zawsze mają dostęp do Internetu.
Złośliwe oprogramowanie
W marcu do testu wykorzystaliśmy 1549 próbek złośliwego oprogramowania, na które składały się m.in.: trojany, ransomware, backdoory, downloadery i makrowirusy. W przeciwieństwie do pozostałych laboratoriów badawczych nasze testy są transparentne — udostępniamy publicznie pełną listę próbek szkodliwego oprogramowania.
VirusTotal vs prawdziwe środowisko robocze
Korzystamy z prawdziwych środowisk roboczych Windows 10 w trybie graficznym, dlatego wyniki dla poszczególnych próbek mogą się różnić od tych zaprezentowanych przez serwis VirusTotal. Zwracamy na to uwagę, ponieważ dociekliwi użytkownicy mogą porównywać nasze testy z wynikami skanowania na portalu VirusTotal. Okazuje się, że różnice są znaczne pomiędzy rzeczywistymi produktami zainstalowanymi w Windows 10, a silnikami skanującymi w VirusTotal.
Poziomy blokowania próbek złośliwego oprogramowania
Dla badaczy i miłośników bezpieczeństwa udostępniamy sumy kontrolne szkodliwego oprogramowania z podziałem na technologie ochronne, które przyczyniły się do wykrycia i zablokowania zagrożenia. Według niezależnych ekspertów tego typu podejście do porównywania zabezpieczeń pomaga lepiej zrozumieć rozbieżności pomiędzy dostępnymi produktami na rynku.
Blokowanie każdej próbki szkodliwego oprogramowania przez testowane rozwiązanie ochronne zostało podzielone na kilka poziomów:
Poziom 1 (L1): Poziom przeglądarki, czyli wirus został zatrzymany przed albo tuż po pobraniu na dysk.
Poziom 2 (L2): Poziom systemu, czyli wirus został pobrany, ale nie dopuszczono do uruchomienia.
Poziom 3 (L3): Poziom analizy, czyli wirus został uruchomiony i zablokowany przez testowany produkt.
Niepowodzenie (F): Niepowodzenie, czyli wirus nie został zablokowany i zainfekował system.
Najnowsze wyniki zablokowania każdej próbki są dostępne na stronie https://avlab.pl/en/recent-results w tabelce:
Maj 2021 – komentarz Fundacji AVLab
Zwracamy uwagę, że w tej edycji testu wszystkie rozwiązania uzyskały maksymalny wynik w blokowaniu zagrożeń. Nie przyznajemy punktów ujemnych za pozytywne wykrycie i zablokowanie złośliwego oprogramowania (po jego uruchomieniu), jak również punktów dodatnich za wczesne zneutralizowanie zagrożenia (już po otwarciu linku w przeglądarce).
Technologie ochronne w testowanych programach działają tak, jak przewidział to ich producent, dlatego mogą nie posiadać skanera adresów URL i pobieranych plików w czasie rzeczywistym. Jeżeli producent nie uwzględnił ochrony przed stronami typu phishing albo stronami ze złośliwą zawartością, to nie znajdujemy powodu, aby karać producenta ujemnymi punktami. Dodatkowo takiego rodzaju rozwiązania ochronne mogą charakteryzować się lepszym blokowaniem zagrożeń, ale już po zapisaniu pliku na dysk.
Z wyżej wymienionych powodów nie chcemy faworyzować żadnego pakietu bezpieczeństwa, lecz ujawnić odmienność koncepcji ochrony pomiędzy np. SecureAPlus Pro a Kaspersky Total Security. Rozwiązanie wywodzące się z Singapuru może bez przeszkód konkurować z oprogramowaniem rosyjskim w naszych testach Advanced In The Wild Malware Test, w których pokazujemy odmienność blokowania zagrożeń na wybranych poziomach.
Te różnice technologiczne pomiędzy metodami prewencyjnymi a behawioralnymi pokazujemy w tabelce, oznaczając poziom zablokowania zagrożenia odpowiednio: L1, L2 i L3.
Na koniec chcemy podziękować wszystkim zainteresowanym producentom za współpracę na zgłaszane szczegóły techniczne oraz pomoc w bezproblemowym zautomatyzowaniu naszych testów z produktami ochronnymi.
