W styczniu 2023 roku przeprowadziliśmy kolejną edycję długoterminowego testu z serii Advanced In The Wild Malware Test rozpoczynającego nowy rok. Celem badania jest wyłonienie produktów bezpieczeństwa, które dobrze reagują na zagrożenia w długim okresie – unikamy wydawania opinii na podstawie jednego testu.
Od tej edycji, aby bardziej wyróżnić się na tle innych laboratoriów badawczych, jako prekursorzy w branży testów, wprowadzamy nową cechę do porównania – tak zwany „czas reagowania na zagrożenie i naprawę incydentu” (z angielskiego Remediation Time). Będziemy mierzyć Remediation Time dla każdego testowanego produktu domowego i firmowego, aby dokładniej wskazać różnice pomiędzy oprogramowaniem ochronnym w starciu z zagrożeniami in the wild pochodzącymi z Internetu.
Do tej pory, jak mogliście zauważyć w poprzednich edycjach, prawie wszystkie produkty ochronne uzyskiwały wykrywalność próbek in the wild na poziomie równym lub prawie równym 100%, a różnice dotyczyły tzw. poziomu zatrzymania malware, które rozróżniamy na:
- Poziom PRE-Launch dotyczy wykrywania próbek złośliwego oprogramowania przed ich uruchomieniem w systemie.
- Poziom POST-Launch dotyczy analizy, kiedy wirus został uruchomiony i zablokowany przez testowane produkty.
- Poziom Fail oznacza negatywny wynik na próbce malware.
Od stycznia 2023 roku do testów z serii Advanced In The Wild Malware Test wprowadzamy dodatkowy wskaźnik uwydatniający różnice w ochronie pomiędzy produktami. Jest to tak zwany REMEDIATION TIME, który będzie oznaczał czas wykrycia malware od jego wejścia do systemu przez przeglądarkę, poprzez uruchomienie, aż po detekcję i naprawę incydentu bezpieczeństwa.
Remediation Time występuje wyłącznie dla poziomu POST-Launch, czyli dotyczy czasu analizy, kiedy wirus został zapisany na dysku, uruchomiony i zablokowany przez testowany produkt. Zauważ, że nie obliczamy czasu reakcji i naprawy incydentu na wczesnym poziomie blokowania w przeglądarce (PRE-Lanuch), ponieważ wynosi ono zawsze ZERO sekund (prewencyjna ochrona).
Czas Remediation Time dla każdej próbki posłuży nam do obliczenia średniego czasu reagowania i naprawy skutków incydentu z całego badania w danej serii. Dodatkowo zapisujemy maksymalny czas Remediatiom Time, jak również najszybszy czas wykrycia i naprawienia problemu z malware.
Wytłumaczymy to na poniższym przykładzie dla oprogramowania Webroot Antivirus:
- W styczniu 2023 roku wykorzystaliśmy łącznie 447 próbek malware.
- Do obliczenia Remediation Time uwzględniamy 249 próbek z poziomu blokowania Post-Lanuch.
- Średni czas Remediation Time podczas analizowania w pamięci lub w skanowaniu chmurze wynosił 125,321s (sto dwadzieścia pięć sekund i 321 tysięcznych sekundy).
- Zaobserwowany najdłuższy czas (Remediation Time Max) wynosi 351,810s.
- Najszybszy czas reakcji i naprawy (Remediation Time Min) wynosi 0.000s (zagrożenie zostało zablokowane od razu podczas próby uruchomienia).
Dlaczego badamy czas reakcji na zagrożenie i naprawę skutków? (ang. Remediation Time)
Niektóre testowane rozwiązania bezpieczeństwa oferują zespołom IT odpowiedzialnym za bezpieczeństwo w organizacji konkretne narzędzia do przeszukiwania zagrożeń (EDR-XDR) i manualne podejmowanie decyzji o blokowaniu incydentu.
Remediation Time wyrażony w sekundach będzie się różnić w zależności od produktu, konfiguracji, dostępności infrastruktury z informacjami o zagrożeniach producenta, a także stabilności łącza internetowego sieci, w której przeprowadzany jest test. Podczas analizowania wyników warto wziąć pod uwagę te aspekty.
W naszych testach staramy się tak skonfigurować program, aby zautomatyzować tę decyzje tzn. musimy założyć, że po podjęciu określonej czynności przez produkt ochronny, zaliczamy dla niego pozytywny wynik dla danej próbki malware. Jest to niezbędne, ponieważ ta seria testów jest zautomatyzowana i tylko w taki sposób możliwe jest sprawdzenie skuteczności zabezpieczeń na setkach malware w skali całego miesiąca, bez ludzkiej ingerencji.
Wskaźnik Remediation Time oznacza dla Ciebie lub Twojej firmy, że zagrożenie zostało co najmniej rozpoznane w fazie ataku i co najmniej częściowo zatrzymane.
Chcemy być bardziej transparentni niż inne laboratoria AV, dlatego dzielimy się tak szczegółowymi informacjami. Już wiemy z komentarzy, że nasze podejście do analizy doceniają użytkownicy, którzy mają wiedzę z zakresu bezpieczeństwa komputerowego. Natomiast nietechnicznym użytkownikom staramy się tłumaczyć wszystko zrozumiałym przekazem. Nie bez powodu producenci, z którymi współpracujemy, przychylają się do takiego podejścia analitycznego, ponieważ pomagamy im poprawiać oprogramowanie, mając wpływ na bezpieczeństwo użytkowników końcowych.
Test programów zabezpieczających w styczniu 2023
W styczniu 2023 do badania na zagrożeniach in the wild, czyli pochodzącymi z Internetu, na które każdy użytkownik może się natknąć, wykorzystaliśmy 447 próbek malware.
Testowane rozwiązania:
- Avast Free Antivirus
- Bitdefender Antivirus Free
- Avira Antivirus Pro
- Emsisoft Business Security (dla firm)
- Immunet Antivirus (Free Edition)
- Malwarebytes Premium
- Malwarebytes Endpoint Protection (dla firm)
- Microsoft Defender
- Webroot Antivirus
- Xcitium Internet Security Pro
- Xcitium ZeroThreat Advanced (dla firm)
Test ochrony na zagrożeniach internetowych w liczbach
Na podstawie uzyskiwanych logów z narzędzia Sysmon zainstalowanego w Windows 10 oraz z bazy danych z zapisanymi informacjami testowymi przygotowaliśmy następujące zestawienie:
- W teście wzięło udział 11 rozwiązań ochronnych.
- Finalnie wykorzystaliśmy 447 unikalnych adresów URL z malware.
- Dokładnie 381 próbek malware hostowanych było przez protokół HTTP.
- Strony szyfrowane HTTPS (w teorii, bezpieczne) zawierały 66 próbek malware.
- Podczas analizy każda próbka szkodliwego oprogramowania dokonywała średnio 28 potencjalnych niebezpiecznych akcji w systemie Windows 10.
- Najwięcej malware pochodziło z serwerów z Holandii, Rosji oraz USA.
- Do hostowania malware najczęściej używano domen: .com, .org, .za.
- Średnia wykrywalność adresów URL lub złośliwych plików na poziomie PRE-LAUNCH wyniosła 58%.
- Na poziomie POST-Launch wykrywalność plików wyniosła średnio 38%.
Protokół HTTPS może być używany do rozprzestrzeniania malware. Zapamiętaj, że certyfikat SSL i tzw. kłódka przy adresie WWW nie zaświadcza o bezpieczeństwie strony!
Malware i adresy URL w teście
Tak zwany cykl „życia malware na wolności” jest bardzo krótki i wynosi od kilku sekund do kilku dni. Z doświadczenia testowego możemy przekazać, że czas liczony jest w minutach: szkodliwe adresy URL z odnośnikiem do pliku tak samo szybko znikają, jak się pojawiają.
Z tego powodu aż 2703 adresów URL w momencie pobierania w testowych systemach Windows 10, z zainstalowanymi programami ochronnymi, nie była osiągalna lub z innego powodu nie pasowała do testu. Jeżeli plik nie może zostać pobrany z sieci (nie istnieje), to nie da się przeprowadzić na nim testu. Wówczas następuje nowa próba pobrania kolejnego malware z kolejki. Zanim to nastąpi, aby nie komplikować, weryfikujemy każdy plik dzięki analizie statycznej (reguły Yara) oraz analizie dynamicznej (pełne uruchomienie w systemie Windows). Odsyłamy osoby zaciekawione do metodologii do kroku 3.
Konfiguracja systemu oraz programów zabezpieczających
Zwykle stosujemy ustawienia domyślne. Jeżeli chcesz poznać więcej szczegółów na temat pozyskiwania malware, analizy w systemach Windows oraz całego algorytmu postępowania, to zapoznaj się z naszą metodologią.
Szczegółowe wyniki
Najważniejsze dane techniczne oraz wyniki są dostępne na stronie RECENT RESULTS.
Wnioski z testu dla tzw. Remediation Time
Remediation Time jest indywidualną, mierzalną wartością do wyznaczania czasu reakcji na zagrożenie produktu bezpieczeństwa. W testach Advanced In The Wild Malware Test musimy w taki sposób skonfigurować produkt, aby automatycznie podejmował możliwe najlepsze decyzje – zwykle jest to przeniesienie zagrożenia do kwarantanny albo zablokowanie połączenia przez firewall wraz z zapisaniem logów. W organizacjach, które zatrudniają specjalistów ds. bezpieczeństwa, Remediation Time może być znacząco większy ze względu na manualne reagowanie na incydenty, dlatego im mniej czasu upływa od wejścia malware do systemu, aż do zauważenia oraz naprawy ataku, tym lepiej. Z punktu widzenia użytkownika końcowego najważniejsze jest wykrycie pliku 0-day lub detekcja podejrzanego zachowania oraz naprawa skutków incydentu.
Zwracamy uwagę, by Remediation Time analizować w zestawieniu ze wszystkimi cechami oprogramowania ochronnego, ponieważ poszczególne technologie ochronne producentów mogą się znacząco różnić. Różnice tkwią w szczegółach, dlatego zachęcamy do indywidualnej analizy przy wyborze oprogramowania. Skuteczność ochrony jest bardzo ważna, ważne są też dodatkowe cechy, jak gwarancja producenta, wsparcie techniczne, ładny interfejs, szybkość działania, konsola zarządzająca, moduł EDR, szyfrowanie dysków oraz inne cechy produktu.
