W artykule pod tytułem „Jak testujemy antywirusy? Kulisy powstawania nowego portalu CheckLab.pl” szczegółowo wyjaśniliśmy, czym jest nowy projekt CheckLab. Niedawno założona organizacja ze stroną internetową www.CheckLab.pl w całości jest skoncentrowana na testach bezpieczeństwa. CheckLab funkcjonuje w strukturach znanej już firmy AVLab.pl, która jest aktywna od 2012 roku. Testy przeprowadzane przez AVLab są uznawane i cenione przez samych producentów, dlatego zrealizowanie tego projektu miało podwaliny biznesowe, wizerunkowe oraz techniczne. Tych dodatkowych informacji związanych z testami jest tak dużo, że postanowiliśmy przygotować uzupełniającą stronę internetową.

Wszystkie instrukcje na temat metodologii oraz wykorzystywanych w testach narzędzi zostały opublikowane na stronie internetowej checklab.pl, a także w anglojęzycznym odpowiedniku checklab.pl/en.

Przechodząc od razu do rzecz, wyjaśnijmy krótko, czym są testy „Advanced In The Wild Malware Test”.

Wstęp do testów „Advanced In The Wild Malware Test”

Nazwa testów „Advanced In The Wild Malware Test” doskonale oddaje ich charakter. Źródłem złośliwego oprogramowania są honeypoty zlokalizowane na wszystkich kontynentach świata. Kolekcjonujemy szkodliwe oprogramowanie m.in. dla systemu Windows. Pozyskane w atakach próbki, zanim trafią do testów, sprawdzane są na podstawie ponad 100 wzorców. Reguły te pozwalają ustalić, czy potencjalnie niebezpieczny plik faktycznie jest groźny dla systemu operacyjnego Windows 10.

W lipcu 2019 roku, w pierwszej edycji testów bezpieczeństwa, przetestowaliśmy osiem rozwiązań do ochrony komputerów. W wynikach uwzględniliśmy siedem produktów, ponieważ umożliwiamy producentom dołączenie do testów nieformalnie. Jeśli dana firma uważa, że ich rozwiązanie nie zostało do końca opracowane lub obawia się o nie najlepszą ocenę, to ma możliwość na okres próbny dołączyć do testów. Wówczas rezultaty z testów dla danego produktu nie są udostępniane publicznie. Ponadto przekazujemy takiej firmie wszystkie niezbędne szczegóły, które pomogą poprawić efektywność rozwiązań zabezpieczających.  

Testy trwały przez cały lipiec 2019 roku i polegały na testowaniu zabezpieczeń następującego oprogramowania:

• AVIRA Antivirus Pro
• EMSISOFT Business Security
• F-SECURE Total
• G DATA Endpoint Protection Business
• G DATA Total Security
• KASPERSKY Endpoint Security Cloud Protection
• SECUREAPLUS Premium
• Ósmy produkt nie został uwzględniony w oficjalnych wynikach.

Złośliwe oprogramowanie

Do testu wykorzystaliśmy prawie tysiąc próbek złośliwego oprogramowania. W przeciwieństwie do znanych instytucji testujących, takich jak AV-Comparatives albo AV-Test, nasze testy są dużo bardziej transparentne, ponieważ udostępniamy pełną listę próbek złośliwego oprogramowania. Pełny spis jest dostępny w tabelce na stronie internetowej nowego projektu www.CheckLab.pl.

Podczas testów wszystkie rozwiązania miały dostęp do Internetu. Korzystamy z prawdziwych środowisk roboczych w trybie graficznym, dlatego wyniki dla poszczególnych próbek mogą się różnić od tych zaprezentowanych przez serwis VirusTotal. Zwracamy na to uwagę, ponieważ domyślamy się, że dociekliwi użytkownicy będą porównywać nasze testy do wyników skanowania na VirusTotal. Różnice są znaczne pomiędzy rzeczywistymi produktami zainstalowanymi w Windows 10 a silnikami skanującymi przez VirusTotal. Rozbieżności wyjaśniliśmy w artykule pt. „Jak testujemy antywirusy? Kulisy powstawania nowego portalu CheckLab.pl”.

Ustawienia produktów i Windows 10: codzienny cykl testów

Testy przeprowadzane są w systemie Windows 10 Pro x64. Kontrola konta użytkownika (UAC) jest wyłączona, ponieważ celem testów jest sprawdzenie skuteczności ochrony produktu przed szkodliwym oprogramowaniem, a nie reagowanie systemu testującego na komunikaty Windows. 

Dodatkowo system Windows 10 zawiera zainstalowane oprogramowanie: pakiet biurowy, przeglądarkę dokumentów, klient poczty oraz inne narzędzia i pliki, stwarzające pozory zwykłego środowiska roboczego.

Automatyczne aktualizacje systemu Windows 10 są wyłączone w danym miesiącu testów. Ze względu na skomplikowany proces i możliwość awarii, aktualizacje Windows 10 są dokonywane co kilka tygodni pod ścisłą kontrolą.

Produkty zabezpieczające są aktualizowane jeden raz w ciągu doby. Zanim testy zostaną uruchomione, następuje aktualizacja bazy danych wirusów i plików produktu ochronnego. Oznacza to, że każdego dnia testowane są zawsze najnowsze wersje produktów ochronnych.

Poziomy blokowania próbek złośliwego oprogramowania

Prawdopodobnie jesteśmy pod tym względem pionierami — pokazujemy czytelnikowi bardziej szczegółowe dane diagnostyczne niż jakakolwiek do tej pory instytucja testująca (wliczając w to największe instytuty badawcze AV-Comparatives oraz AV-Test). Poziomy zatrzymania każdej próbki szkodliwego oprogramowania przez testowane rozwiązanie ochronne są publikowane na stronie internetowej organizacji CheckLab.

Blokowanie wirusów podzieliliśmy na kilka poziomów:

• Poziom 1 (P1): Poziom przeglądarki, czyli wirus został zatrzymany przed zapisaniem na dysku.
• Poziom 2 (P2): Poziom systemu, czyli wirus został pobrany, ale nie dopuszczono do uruchomienia.
• Poziom 3 (P3): Poziom analizy, czyli wirus został uruchomiony i zablokowany przez testowany produkt.
• Niepowodzenie (N): Niepowodzenie, czyli wirus nie został zablokowany i zainfekował system.

Wynik zablokowania każdej próbki można prześledzić na stronie checklab.pl/wyniki w tabelce:

Szczegółowa metodologia

Szczegółową metodologię można znaleźć w sekcji „Metodologia — Metody postępowania w testach”. Aby przełączyć się na wersję angielską, wystarczy użyć przełącznika „EN”, który znajduje się w prawym, górnym roku ekranu.

Wyniki za lipiec 2019

Jako pierwsza organizacja na świecie pokazujemy szczegółowe informacje z testów dla czytelników. Udostępniamy sumy kontrolne szkodliwego oprogramowania z podziałem na technologie ochronne, które przyczyniły się do zatrzymania zagrożenia. Mamy nadzieję, że tego typu innowacyjne podejście do testowania będzie bardzo ciekawym doświadczeniem dla odbiorców naszej pracy.

Najlepszy certyfikat BEST+++ przyznaliśmy dla:

• Avira Antivirus Pro
• G Data Endpoint Protection Business
• Emsisoft Business Security
• Kaspersky Endpoint Security Cloud Plus
• SecureAPlus Premium

Certyfikat BEST++ nie został przyznany.

Certyfikat GOOD+ przyznaliśmy dla:

• G DATA Total Security

Oprogramowanie F-Secure TOTAL nie osiągnęło wymaganego progu 90%, dlatego nie przyznano żadnej nagrody.

Podsumowanie

Serdecznie zachęcamy czytelników do zapoznania się ze stroną internetową www.checklab.pl oraz www.checklab.pl/en. Szczególnie polecamy odnośniki w menu, czyli:

• najnowsze wyniki
• metod testowania
• najnowsze publikacje
• jak zdobyć certyfikat — strona zawiera informacje dla zainteresowanych współpracą firm.

Wszystkie zamieszczone tam materiały tłumaczą sposoby postępowania przy testowaniu. W jednym z artykułów załączyliśmy także dwa filmy, aby dokładniej zobrazować jak automatyzujemy testy.

Jest to nasz pierwszy post dotyczący pierwszej edycji testów „Advanced In The Wild Malware Test”, które zostały przeprowadzone w lipcu 2019 roku. Już teraz możemy zdradzić, że ciągle pracujemy nad ulepszeniem naszych algorytmów, które są na bieżąco poprawiane. W obecnej chwili zajmujemy się ulepszeniem narzędzi do monitorowania zmian w systemie operacyjnym Windows oraz do śledzenia akcji wykonywanych przez testowane produkty. Dzięki temu nasza współpraca z producentami pozwoli dostarczać bardziej szczegółowe dane w celu weryfikacji każdej próbki i reakcji testowanego produktu. Mamy także nadzieję, że w testach będzie uczestniczyło coraz więcej zainteresowanych współpracą firm. Naszą dewizą jest transparentność, do której zachęcamy duże instytucje zajmujące się testowaniem.

Informacje o CheckLab

Organizacja CheckLab została założona w lipcu 2019 roku przez działającą od 2012 roku w branży bezpieczeństwa teleinformatycznego firmę AVLab.pl. Podstawowym celem organizacji CheckLab jest testowanie przydatności zabezpieczeń oraz wydawanie certyfikatów potwierdzających skuteczność ochrony przed złośliwym oprogramowaniem, a także dostarczanie wyników do informacji publicznej przy zapewnieniu maksymalnej transparentności testów. W swoich badaniach pracownicy CheckLab wykorzystują szkodliwe oprogramowanie, narzędzia oraz techniki pokonywania zabezpieczeń, które są używane w prawdziwych cyberatakach. Pomimo że projekt pod nazwą CheckLab istnieje dopiero od kilku tygodniu, to już teraz organizacja współpracuje z największymi firmami z branży bezpieczeństwa.