W styczniu 2020 roku organizacja CheckLab.pl przygotowała zestawienie popularnych rozwiązań do zabezpieczeń komputerów domowych, stacji roboczych mikro-przedsiębiorców, średniego i dużego biznesu. Wśród testowanych rozwiązań znalazło się 8 wyspecjalizowanych produktów najwyższej klasy dla klientów końcowych, a także dwa rozwiązania dla firm — Comodo Advanced Endpoint Protection oraz Webroot Business Endpoint Protection.
W styczniowym zestawieniu pracownicy CheckLab chcą zwrócić uwagę na:
(1) Różnice w blokowaniu zagrożeń, które wynikają z mechanizmów ochronnych zaimplementowanych w testowanym rozwiązaniu bezpieczeństwa.
Produkty, które biorą udział w teście nie uzyskują dodatkowych punktów za blokowanie zagrożenia na wczesnym etapie. W teorii lepiej jest kiedy zagrożenie zostanie wcześniej rozpoznane. Ostatecznie jednak najważniejsza w końcowej ocenie jest skuteczność blokowanych próbek szkodliwego oprogramowania bez względu na poziom wykrycia tej próbki.
Rozwiązania do ochrony komputerów mogą być różnie zbudowane — na przykład produkt X może skanować protokoły HTTP/S, a produkt Y nie musi tego robić. Nie będzie to coś złego i na pewno nie powinno wpływać na ostateczny wynik, ponieważ takie różnice wynikają z logiki działania rozwiązania bezpieczeństwa. Producenci używają różnych sposobów na zabezpieczenie środowiska roboczego, dlatego żadna z tych technologii nie może być faworyzowana.
Organizacja CheckLab w styczniu 2020 roku sporządziła wykresy porównawcze, na których widać różnice w blokowaniu szkodliwego oprogramowania. Kolory od ciemno-niebieskiego do jasno-niebieskiego, w tym kolor czerwony, pokazują uśrednioną i zsumowaną ocenę blokowania wszystkich próbek, które zostały dołączone do testu.
Poszczególne poziomy oznaczają:
W raporcie bezpieczeństwa CheckLab ważna jest interpretacja całego testu, ponieważ eksperci uważają, że należy pokazywać różnice pomiędzy produktami, a więc czy nowoczesne technologie spełniają swoją rolę.
Podając konkretny przykład — jeżeli produkt X będzie blokował wszystkie zagrożenia dzięki ogromnej porcji statycznych metadanych w chmurze, ale jedna i unikalna próbka złośliwego oprogramowania doprowadzi do utraty danych lub zainfekowania komputera trojanem bankowym, to czy takie rozwiązanie jest warte zarekomendowania?
(2) Skuteczność ochrony bezsygnaturowej jest pokazana jako Poziom 3 (ang. Level 3) na wykresach oraz w tabelce.
Analizą rozwiązań IT należy się zająć również od ochrony bezsygnaturowej. Wpisy w antywirusowej bazie danych to sekwencje bajtów, które są charakterystyczne dla określonej próbki szkodliwego programu.
Na rynku rozwiązań ochronnych istnieją produkty, które nie korzystają z sygnatur. W renomowanych produktach bezsygnaturowa ochrona ciągle jest skuteczna, ale najbardziej sprawdza się jako wsparcie dla nowoczesnych sposobów obrony przed atakami. W testach CheckLab są pokazywane takie różnice, a więc każdy zainteresowany może sprawdzić czy produkt antywirusowy potrafi wykrywać zagrożenie bez sygnatur.
Na wykresach oraz tabelkach bezsygnaturowa ochrona jest oznaczona Poziomem 3 / Level 3, przy czym próbka szkodliwego pliku trafia do systemu, gdzie testowany produkt ma aktywne wszystkie opcje i jest zainstalowany na ustawieniach domyślnych. Rozwiązanie ochronne ma szansę zatrzymać zagrożenie w przeglądarce lub po dostaniu się na dysk, przed samym uruchomieniem próbki, jak i po uruchomieniu złośliwego pliku. Żaden z komponentów ochrony nie jest wyłączony przez testerów, ponieważ produkt został zaprojektowany do działania przy aktywnie działających wszystkich składnikach zabezpieczających.
Sygnatury są dobre na znane techniki ataków sieciowych oraz wykrywanie szkodliwych plików. Jednak twórcy szkodliwych programów zaciemniają je, używając różnych sposobów maskujących. Z tego powodu renomowane rozwiązania muszą posiadać bardziej zaawansowane sposoby wykrywania ataków i zagrożeń. Producenci rozwiązań muszą wiedzieć, że CheckLab nie będzie ułatwiał im zadania. Każdy aspekt ochrony będzie skrupulatnie sprawdzany.
Porównanie ochrony w styczniu 2020 roku
W opisywanym poniżej badaniu wykorzystano szkodliwe oprogramowanie, narzędzia oraz techniki pokonywania zabezpieczeń, które są używane w prawdziwych kampaniach, przy czym nie brano pod uwagę dodatkowych modułów takich jak: ochrona bankowości internetowej, moduł antykradzieżowy, wbudowany szyfrowany tunel VPN, monitor sieci domowej, przechowywanie i generowanie haseł, ochrona kamery internetowej oraz pozostałych, opcjonalnych modułów dobrego oprogramowania do ochrony systemu.
Wyjaśnienie testów „Advanced In The Wild Malware Test”
Nazwa testów „Advanced In The Wild Malware Test” doskonale oddaje ich charakter. Źródłem złośliwego oprogramowania są honeypoty zlokalizowane na wszystkich kontynentach świata. Kolekcjonowane jest szkodliwe oprogramowanie m.in. dla systemu Windows. Pozyskane w atakach próbki, zanim trafią do testów, sprawdzane są na podstawie ponad 100 wzorców. Reguły te pozwalają ustalić, czy potencjalnie niebezpieczny plik jest faktycznie groźny dla systemu operacyjnego Windows 10 Pro.
W styczniu 2020 roku w trzeciej już edycji testów bezpieczeństwa „Advanced In The Wild Malware Test” zweryfikowano skuteczność wykrywania i blokowania złośliwego oprogramowania przez 10 rozwiązań do ochrony komputerów.
Testy trwały nieprzerwanie przez cały styczeń. Lista sprawdzanych rozwiązań jest następująca:
- Avast Free Antivirus
- Avira Antivirus Pro
- Bitdefender Total Security
- Comodo Advanced Endpoint Protection
- Comodo Internet Security
- G DATA Total Security
- Kaspersky Total Security
- SecureAPlus Pro
- Webroot Antivirus
- Webroot Business Endpoint Protection
Wyniki za styczeń 2020
CheckLab, jako pierwsza organizacja na świecie, przekazuje tak szczegółowe informacje z testów dla wszystkich zainteresowanych. Udostępnia sumy kontrolne szkodliwego oprogramowania z podziałem na technologie ochronne, które przyczyniły się do wykrycia i zablokowania zagrożenia. Według niezależnych ekspertów tego typu innowacyjne podejście do porównywania zabezpieczeń przyczyni się do lepszego zrozumienia różnic pomiędzy dostępnymi produktami dla konsumentów i dla przedsiębiorstw.
Wykres przedstawiający różnice pomiędzy poszczególnymi produktami jest dostępny na stronie https://checklab.pl/wyniki
W drugiej edycji testów najlepszy certyfikat BEST+++ został przyznany dla rozwiązań:
- Avast Free Antivirus
- Avira Antivirus Pro
- Bitdefender Total Security
- Comodo Advanced Endpoint Protection
- Comodo Internet Security
- G DATA Total Security
- Kaspersky Total Security
- SecureAPlus Pro
- Webroot Antivirus
- Webroot Business Endpoint Protection
Poziomy blokowania próbek złośliwego oprogramowania
Prawdopodobnie pracownicy CheckLab są pod tym względem pionierami — pokazują bardziej szczegółowe dane diagnostyczne niż jakakolwiek do tej pory instytucja testująca, wliczając największe instytuty badawcze, takie jak AV-Comparatives oraz AV-Test. Blokowanie każdej próbki szkodliwego oprogramowania przez testowane rozwiązanie ochronne zostało podzielone na kilka poziomów:
- Poziom 1 (P1): Poziom przeglądarki, czyli wirus został zatrzymany przed albo tuż po pobraniu na dysk.
- Poziom 2 (P2): Poziom systemu, czyli wirus został pobrany, ale nie dopuszczono do uruchomienia.
- Poziom 3 (P3): Poziom analizy, czyli wirus został uruchomiony i zablokowany przez testowany produkt.
- Niepowodzenie (N): Niepowodzenie, czyli wirus nie został zablokowany i zainfekował system.
Wyniki zablokowania każdej próbki są dostępne na stronie https://checklab.pl/wyniki w tabelce:
Ustawienia produktów i Windows 10: codzienny cykl testów
Testy przeprowadzane są w systemie Windows 10 Pro x64. Kontrola konta użytkownika (UAC) jest wyłączona, ponieważ celem testów jest sprawdzenie skuteczności ochrony produktu przed szkodliwym oprogramowaniem, a nie reagowanie systemu testującego na komunikaty Windows.
System Windows 10 zawiera zainstalowane oprogramowanie: pakiet biurowy, przeglądarkę dokumentów, klient poczty oraz inne narzędzia i pliki, stwarzające pozory zwykłego środowiska roboczego.
Automatyczne aktualizacje systemu Windows 10 są wyłączone w danym miesiącu testów. Ze względu na skomplikowany proces i możliwość awarii, aktualizacje Windows 10 są dokonywane co kilka tygodni pod ścisłą kontrolą.
Produkty zabezpieczające są aktualizowane jeden raz w ciągu doby. Zanim testy zostaną uruchomione, następuje aktualizacja bazy danych wirusów i plików produktu ochronnego. Oznacza to, że każdego dnia testowane są zawsze najnowsze wersje produktów ochronnych.
Złośliwe oprogramowanie
Do testu wykorzystano 685 próbek złośliwego oprogramowania, na które składały się m.in.: trojany bankowe, ransomware, backdoory, downloadery i makrowirusy. W przeciwieństwie do znanych instytucji weryfikujących przydatność zabezpieczeń testy CheckLab są znacznie bardziej transparentne, ponieważ organizacja udostępnia publicznie pełną listę próbek szkodliwego oprogramowania.
Podczas testów wszystkie rozwiązania miały dostęp do Internetu. Eksperci z CheckLab korzystają z prawdziwych środowisk roboczych w trybie graficznym, dlatego wyniki dla poszczególnych próbek mogą się różnić od tych zaprezentowanych przez serwis VirusTotal. Organizacja CheckLab zwraca na to uwagę, ponieważ dociekliwi użytkownicy mogą porównywać te testy z wynikami skanowania na portalu VirusTotal. Okazuje się, że różnice są znaczne pomiędzy rzeczywistymi produktami zainstalowanymi w Windows 10 a silnikami skanującymi w VirusTotal. Te rozbieżności wyjaśniono w artykule pt. „Jak testujemy antywirusy? Kulisy powstawania nowego portalu CheckLab.pl”.
O organizacji CheckLab
Organizacja Checklab została założona w lipcu 2019 roku przez firmę AVLab.pl, działającą od 2012 roku w branży bezpieczeństwa teleinformatycznego. Podstawowym celem organizacji CheckLab jest testowanie przydatności zabezpieczeń stacji roboczych, przyznawanie certyfikatów potwierdzających skuteczność ochrony przed złośliwym oprogramowaniem, a także dostarczanie wyników dla informacji publicznej przy zapewnieniu maksymalnej transparentności testów.
