Chociaż AV-Comparatives nie przyzwyczaiło czytelników do przeprowadzania podobnych testów antywirusowych w przeszłości, to tym razem austriacki lab dał się przekonać. W pierwszym zdaniu w raporcie PDF czytamy, że przygotowanie testu zostało zlecone przez firmę Bitdefender — podejrzewamy, że również chodziło o metodologię. Konkurencyjne rozwiązania ochronne też zostały wytypowane przez firmę Bitdefender. Szkoda, że AV-Comparatives „nie miał” w tej kwestii nic do powiedzenia, ale dzięki temu możemy się domyślać, że Bitdefender wytypował do testu produkty firm, z którymi bezpośrednio konkuruje na rynku. Dlaczego sądzimy, że był to jeden z lepszych kompleksowych testów, jakie do tej pory przeprowadził AV-Comparatives (pomijając fakt, że test powstał na zlecenie jednej firmy)? Otóż kompleksowy charakter badania większości wektorów ataku sprawia, że mamy do czynienia z wiernym odwzorowaniem współczesnych prób pokonywania zabezpieczeń w systemach, które są chronione przez zainstalowane oprogramowanie dla biznesu.

W badaniu przetestowano następujące rozwiązania:

  • Bitdefender Endpoint Security Elite 6.2
  • Carbon Black Cb DEFENSE 3.0
  • CrowdStrike FalconHost 3.7
  • Cylance CylancePROTECT 2.0
  • Kaspersky Endpoint Security dla Firm 10.3
  • McAfee Endpoint Security 10.5.2
  • SentinelOne Endpoint Protection 1.8.41
  • Sophos Central Endpoint Advanced Protection i Intercept X 11.5.9-3.6.10
  • Symantec Endpoint Protection Standard 14.0

Rozwiązania do ochrony roboczych środowisk biznesowych poddano czterem testom, które zostały przeprowadzone w okresie od listopada 2017 roku do stycznia 2018 roku. Ich celem było porównanie automatycznej możliwości zapobiegania i wykrywania różnych rodzajów zagrożeń:

Test nr 1

Pierwszy test dotyczył proaktywnej ochrony, czyli takiej, w której „zamraża się” testowany produkt na pewien czas. Następnie poddaje się go próbie testów na pewnej kolekcji wirusów. Jak opisuje raport, rozwiązania antywirusowe zostały odcięte od Internetu 14 listopada. Tydzień później sprawdzono ochronę na 1000 nowych próbkach szkodliwego oprogramowania, które pojawiły się in-the-wild po zamrożeniu antywirusów.

Wyniki z testów antywirusowych nr 1

W teście uwzględniono też podatność na fałszywe alarmy, wykorzystując 1000 czystych plików. Chociaż Bitdefender zablokował 99.9% zagrożeń, to zidentyfikował 8 bezpiecznych plików jako zagrożenie. Można to interpretować w drugą stronę — 99.9% oznacza, że produkt nie zatrzymał 1 próbki szkodliwego oprogramowania. Rozwiązanie firmy Cylance nie zatrzymało 5 próbek, a produkt Kaspersky Lab aż 25.

Test nr 2

Drugi test dotyczył sprawdzenia skuteczności ochrony przed złośliwym oprogramowaniem bezplikowym. Malware typu „fileless” działa bezpośrednio w pamięci operacyjnej komputera. W takim scenariuszu uruchomiony wirus nie zostanie przeniesiony do kwarantanny przez oprogramowanie zabezpieczające, ponieważ nie jest plikiem, lecz zestawem instrukcji do wykonania, operującym na systemowych procesach. Tę rodzinę szkodliwego oprogramowania często używa się w atakach APT (ang. Advanced Persident Threat) przeprowadzanych na szeroką skalę lub w atakach na pracowników wysokiego szczebla.

Właśnie dzięki takim testom branża bezpieczeństwa jest taka ciekawa:

Wyniki z testów antywirusowych nr 2

Przestawione wyniki nie pozostawiają złudzeń. Zagrożenia typu fileless ciągle nie są zbyt dobrze wykrywane przez współczesne produkty bezpieczeństwa. Nie chcemy robić tutaj kryptoreklamy, ale polskie oprogramowanie antywirusowe Arcabit już od dawna ma na tego typu wirusy odpowiedni patent, dzięki którym jest w stanie zablokować dosłownie każdy atak, który wykorzystuje systemowy interpreter PowerShell do łączenia się z serwerem C&C.

W tym teście Bitdefender GravityZone nie zdołał zablokować na czas dwóch próbek. Każdy z 25 ataków został dokładnie opisany w dokumencie PDF. Zachęcamy do zapoznania się z tym opisem przygotowanym przez AV-Comparatives. Od siebie dodajmy, że ataki nie były trudne do wykrycia, ale pod warunkiem, że zastosowano by podobny patent ochrony, jaki posiada Arcabit.

Ex aequo na miejscu pierwszym z Bitdefenderem, produkt firmy Kaspersky Lab. Kaspersky Endpoint Security nie zatrzymał ataków nr 15 i 16 — ataki nr 3 i 5 zostały zablokowane przez moduł firewall, co potwierdza, że jest to jeden z tych niedocenianych elementów ochrony, które w dobie ogromnej ilości wektorów ataków, każde renomowane oprogramowanie zabezpieczające posiadać powinno.

Bardziej szczegółowo o atakach typu fileless pisaliśmy w raporcie dotyczącym testu ochrony przed tymi zagrożeniami. Test przeprowadziliśmy w październiku ubiegłego roku.

Test nr 3

Trzeci test został przeprowadzony na 300 próbkach szkodliwego oprogramowania, które zostały przechwycone z prawdziwych prób rozprzestrzeniania wirusów. W tym badaniu sprawdza się realną skuteczność ochrony przy wykorzystaniu scenariusza, jakim jest normalne zachowanie użytkownika, kiedy ten surfuje po Internecie.

Wyniki z testów antywirusowych nr 3

Test nr 4

Ostatni test sprawdzał ochronę przed ciągle niebezpiecznym ransomware’m. Tutaj zastosowano 300 próbek różnych odmian wirusów typu ransomware. Badanie zostało przeprowadzone na przełomie listopada i grudnia 2017 roku.

Wyniki z testów antywirusowych nr 4

Na koniec warto jeszcze wspomnieć o jednej rzeczy. W rozwiązaniu Bitdefender GravityZone aktywowano wszystkie funkcje ochronne. Podobnie jak w oprogramowaniu firmy CrowdStrike oraz SentinelOne — wszystkie opcje ustawiono na maksimum. Produkty firm Carbon Black, Cylance, Kaspersky Lab, McAfee i Symantec były testowane na ustawieniach domyślnych, co odbieramy jako złą praktykę. Ciekawe co na to przedstawiciele tych firm… Aby ze strony pozostałych producentów można było bez konsekwencji prawnych zastosować takie kontrowersyjne ustawienia, wszystkie produkty zostały zakupione od dystrybutorów, z wyjątkiem dostarczonego produktu przez firmę Bitdefender.

AUTOR:

Adrian Ścibor

Podziel się

Komentarze

Kermit wt., 10-04-2018 - 13:33

Test na zlecenie BD, dobrani konkurenci przez BD, manipulacja ustawieniami tylko niektórymi produktami w tym BD na ustawienia max - reszta na domyślnych.
Może i wielowektorowe podejście do tematu to mocna strona tego porównania i za to trzeba chwalić, ale nie można w żadnym wypadku określić tego konkretnego, zbiorczego testu ani najlepszym, ani nawet do najlepszych należącym. Oczywiście powody są wymienione i to bardzo konkretne.

Adrian Ścibor wt., 10-04-2018 - 13:44

Masz rację. Jeśli testować cokolwiek, to na jednakowych zasadach (dotyczy to nie tylko AV, ale też każdej innej dziedziny), ale wtedy B mógłby nie zlecać takiego testu, ponieważ wyniki dla wszystkich byłyby bardzo konkurencyjne. To tylko przypuszczenia, jednakże wtedy trudniej byłoby dostrzec na wykresach tak znaczącą przewagę B i K nad pozostałymi rozwiązaniami. Pomijając to, że AV-C w ogóle zgodził się na tak nierówne sprawdzenie ochrony różnych produktów (przez co traci w oczach wielu czytelników na wizerunku), to te 4 testy zebrane w całość całkiem dobrze pokazują odwzorowanie większości ataków (pomijając aspekt protokołów pocztowych). Sama metodologia tych 4 testów oddaje już całkiem sporo z realnej skuteczności, ale pod względem innych ustawień, AV-Comparatives moim zdaniem źle postąpiło, godząc się na tak znaczne różnice w ustawieniach ochrony. Osoby, które nie wnikają w szczegóły zobaczą, że B kosi konkurencję. Producent pewnie też pochwali się wynikami na stronie internetowej.

Dwie rzeczy są pewne: Bitdefender gwarantuje ochronę na najwyższym poziomie. To jest niezaprzeczalne. Druga kwestia tego testu jest taka, że AV-Comparatives zgodził się na nierówne zasady testowania.

Dodane przez Kermit w odpowiedzi na

Kermit wt., 10-04-2018 - 15:42

Też się dziwie, że lab się zgodził na coś takiego.
Metodologia dobra(może raczej założenia do przeprowadzeniu testu) i oby więcej podobnych kompleksowych sprawdzianów,
Natomiast dla przeciętnego użytkownika wartość tego testu/podejścia do porównania produktów jest niemal żadna.
Ponieważ idąc dalej tą drogą( nie ujmując nic BD) nie wiadomo ile jeszcze czynników mogło wypaść bądź sprzyjać firmie BD.

A odbiegając od AV-Comparatives, kiedy nasz rodzimy AVLab przeprowadzi kolejne ciekawe testy grupowe bądź indywidualne pakietów IS/AV? :)
Jak się doczekamy za naszego życia nowego MKS`a to życzyłbym sobie i wszystkim zainteresowanym kompleksowego testu tego otóż IS :D

Dodane przez Adrian Ścibor w odpowiedzi na

Adrian Ścibor wt., 10-04-2018 - 15:45

Zacznę od końca: http://mks-vir.pl/ Premiera MKS według tych informacji wkrótce. Więcej zdradzić nie mogę, ale nie jest to zbyt odległa przyszłość.

A testy... Początkiem maja zaczynamy 3 duże testy porównawcze: przed ransomware, przed bashware i przed koparkami kryptowalut.

Dodane przez Kermit w odpowiedzi na

Kermit wt., 10-04-2018 - 16:26

wiem, że nie można nic powiedzieć ;)

Super! Uzbrajam się w cierpliwość.

Wyszła nowa wersja bezpiecznej przeglądarki od Avast. Ciekawe jak się ona będzie sprawować pod kątem bezpieczeństwa. Może warto będzie i ten test odświeżyć w drugiej połowie roku?

Dodane przez Adrian Ścibor w odpowiedzi na

lotr śr., 11-04-2018 - 08:30

mks_vir.... grafika strony powala... ciekawe jak w produkcie końcowym? lepiej zrobić coś w stylu retro :-)

Dodane przez Adrian Ścibor w odpowiedzi na

Kermit śr., 11-04-2018 - 10:31

Wiem jak wygląda program ale nie chcę i nie mogę mówić na ten temat ;) Tak jak pisałem wcześniej z niecierpliwością czekam na wyjście oficjalnego produktu oraz może małego testu MKS`a i może małym porównaniu go z Arcabitem IS na portalu AVLab ;)

Dodane przez lotr w odpowiedzi na

lotr czw., 12-04-2018 - 13:58

A jakie mają być różnice? Pewnie w początkowym okresie lepiej będzie wypadał Arcavir... Różnica w wyglądzie nie powinna powodować różnicy w funkcjonowaniu programu.

Dodane przez Kermit w odpowiedzi na

Kermit czw., 12-04-2018 - 14:50

No jednak różnice być muszą skoro to dwa inne programy, a po to by się przekonać, który jak wypada przydałby się test lub porównanie. (pod względem poziomu ochrony jak i konkretnych funkcji)
Wygląd programu jest już inna kwestią...

Dodane przez lotr w odpowiedzi na

Marjusz czw., 12-04-2018 - 20:45

To co napisaliście na końcu (o ustawieniach) powinno być na początku. Przecież to jest kluczowa sprawa.
Wychodzi na to, że gdybyśmy ustawili Kasperskiego i Symanteca na maxa, w szczególności Kasperskiego - tak jak był Bitdefender lub Bitdefendera domyślnie, to obydwa (K i S) zmiotłyby B w pył.

Temat tego posta też jest dyskusyjny i wygląda na zamaówiony ("wygląda" niekoniecznie znaczy, że jest).
Jak już to dałbym na waszym miejscu:
"Jeden z lepszych kompleksowych testów antywirusowych, jakie do tej pory widzieliśmy, ale..."
i w pierwszym zdaniu wyjaśniłbym to ale.

Adrian Ścibor czw., 12-04-2018 - 21:01

Specjalnie dla ciebie, jest "ale..." :) W sumie masz rację. Alias utworzony, więc starty URL też zadziała.
Odnośnie ustawień max - z tym powaleniem to bym nie przesadzał. Możliwe, że wynik byłby bardzo wyrównany lub Bitdefender mógłby z kimś przegrać, szczególnie mówię tu o teście, gdzie wykorzystano Metasploita do hackowania. A może tak było i zmieniono metodologię, w której odwrócono wyniki? Tego się nie dowiemy...

Jak to mówią, jedna jaskółka wiosny nie czyni. Chociaż test jest jaki jest, to B nie można odmówić skuteczności. W dodatku ustawienia ustawieniami ochrony, ale wersje biznesowe mają to do siebie, że można zabezpieczyć środowisko nie tylko anty-wszystkim, ale dodatkowo zaszyfrować dysku, zablokować dostęp do określonych zasobów, do wiersza poleceń... Wtedy naprawdę jest trudno przebić się wirusom i hackerom przez taki arsenał. Wbrew pozorom wymaga to nie lada trudu. Nawet phishing lub watering hole można wykorzystać. Naprawdę, jeśli się wie jak, to przed znanymi wektorami ataków da się zabezpieczyć bez problemu, pozostawiając system ciągle użytkowy. Tylko kto to robi? Większość tego nie robi i liczy na domyślne ustawienia, że pomogą zabezpieczyć systemy przed każdym rodzajem malware lub socjotechniki.

Dodane przez Marjusz w odpowiedzi na

PN sob., 14-04-2018 - 10:35

Testujemy w naszej sieci nowego mks'a od dwoch miesiecy. Program jest swietny. A administrator i konsola to strzal w dziesiatke. Sentyment sentymentem ale firma naprawde sie postarala.

dokrorarca sob., 14-04-2018 - 13:00

Warto przetestować nową bezpeiczną przeglądarkę od Avasta, gdyż przecież wielu korzysta z Avasta free...wiec pewnie i z tej przeglądarki. Mnie najbardziej interesuje tryb bankowy gdyż wykonuję miesiecznie wiele transakcji internetowych :D

Kamil Sanik pon., 16-04-2018 - 11:34

Jeżeli robisz dużo transakcji online to zalecał bym wykupienie jakiegoś porządnego antywirusa tu mogę polecić np.
Arcabit Internet Security który zawiera fenomenalną pod kątem bezpieczeństwa Safe Browser
Kaspersky Internet Security gdzie moduł bezpieczne pieniądze również daje rady

Dodane przez dokrorarca w odpowiedzi na

Niulofilon pon., 07-05-2018 - 22:54

Całkowicie bezsensowny test. Dla przykładu: postawmy dwa identyczne auta na zlanej, krętej drodze. Jeden z powłączanymi systemami kontroli trakcji, drugi z systemami "off". Następnie porównajmy wyniki... Jaki to w ogóle ma sens?

ArtMesS czw., 24-05-2018 - 17:53

Artykuł sponsorowany - choć stylem całkiem niezły ;)
Jakkolwiek aż dziw bierze że AV-Comparatives dało się wmanewrować w taki sponsorowany test, chociaż może bardzo im się opłaciło? :D

Adrian Ścibor czw., 24-05-2018 - 18:31

Nie wiem jak w tym teście konkretnie, ale podobno (zdradził mi to jeden producent z USA) od łebka biorą od 4K do 40K w zależności od rodzaju testu :) Widocznie korzyści marketingowe są znaczne dla producenta, a dla labu zarobek niezły.

Dodane przez ArtMesS w odpowiedzi na

Dodaj komentarz