MRG Effitas i AV-Comparatives publikują swoje najnowsze testy

W ostatnim czasie dwa niezależne laboratoria udostępniły badania programów antywirusowych. I chociaż ogólna koncepcja tych testów ma za zadanie sprawdzić ochronę w czasie rzeczywistym, to jak za chwilę udowodnimy, wyniki zależą od dobranej metodologii oraz próbek. Dlatego też (co wielokrotnie powtarzamy), przy wyborze aplikacji bezpieczeństwa należy zapoznać się z wieloma podobnymi testami kilku niezależnych organizacji.

MRG Effitas

W badaniu przeprowadzonym w Q2 2016 roku, tylko Kaspersky Internet Security otrzymał najwyższe wyróżnienie — certyfikat pierwszego poziomu potwierdzający najwyższą skuteczność.

Testowane programy

  • Avast Internet Security 12.1.2272
  • AVG Internet Security 16.91.7688
  • Avira Internet Security 14.0.16.208
  • Bitdefender Internet Security 2016 20.0.29.1517
  • ESET NOD32 Smart Security 9.0.386.0
  • Kaspersky Internet Security 16.0.1.445 (c)
  • Malwarebytes Anti-Malware* 2.2.1.1043
  • McAfee Internet Security 14.0
  • Microsoft Windows Defender 4.9.10586.494
  • Panda Internet Security 16.1.3
  • SurfRight Hitman Pro* 3.7.14
  • Symantec Norton Security 22.6.0.142
  • ThreatTrack VIPRE Internet Security 9.3.4.3
  • Trend Micro Maximum Security 10.0.1288
  • Webroot SecureAnywhere Internet Security 9.0.10.21
  • Zemana AntiMalware* 2.21.2.139

Malwarebytes Anti-Malware, Surfright HitmanPro, Zemana AntiMalware testowane były w wersji jako skaner "na żądanie".

Certyfikat poziomu pierwszego (L1): aby zdobyć to wyróżnienie produkt musiał charakteryzować się bezproblemowym lub nienagannym działaniem podczas walki ze szkodliwym oprogramowaniem oraz zablokować wszystkie zagrożenia jeszcze przed zainfekowaniem systemu. 

Certyfikat poziomu drugiego (L2): aby uzyskać certyfikat “Q2 2016 360 Certification”, testowany pakiet musiał po upływie 24 godzin i po ponownym uruchomieniu systemu operacyjnego zneutralizować 97% wszystkich zagrożeń (przed pierwszym skanowaniem).

Łącznie do testu wykorzystano 399 próbek, wśród których znalazło się 196 trojanów, 60 backdoorów, 84 trojanów bankowych, 33 ransomware i 26 innych.


Rzut okiem na wszystkie próbki z testu


Detekcja ransomware


Detekcja trojanów bankowych

Programy, które nie zaliczyły testu:

  • AVG Internet Security
  • Bitdefender Internet Security
  • ESET Smart Security
  • Microsoft Windows Defender
  • Malwarebytes Anti-Malware
  • McAfee Internet Security
  • Panda Internet Security
  • SurfRight HitmanPro
  • ThreatTrack VIPRE Internet Security
  • Webroot SecureAnywhere
  • Zemana Anti-malware

AV-Comparatives

Metodologia AV-C nie odbiegała aż tak bardzo od MRG Effitas. Różnica była takia, że nie dzielono zagrożeń na konkretne rodziny wirusów, ale także sprawdzano ochronę w czasie rzeczywistym.


Wynik posortowano według skuteczności ochrony. Znowu potwierdza to fakt, że AV-C wyżej ocenia te programy, które nie zablokowały zagrożeń od tych aplikacji, które wykazały się lepszą detekcją, ale wyświetliły ostrzegawczy alert. 




Podobne artykuły

Laboratoria AV-Test oraz AV-Comparatives przyzwyczaiły swoich czytelników do tego, że za każdym...
Angielski lab MRG Effitas opublikował dzisiaj wyniki z testu, którego celem było sprawdzenie...

Komentarze

Obrazek użytkownika Zyga

Jak zwykle Gdaty brak....
Niemcy nie występują ponieważ:
1) Albo się boją wyników i lepiej "wciskać kit" na swojej stronie jacy oni nie są świetni
2) Albo wolą kasę wyłożyć na marketing i reklamować się wszędzie gdzie się da. Co widać, bo obecnie najczęściej na stronach występującą reklamą AV jest Gdata (aż sie lodówkę boję otworzyć ) . Poza tym prawie w każdym sklepie komputerowym "wciskają" ten antywirus do zakupionego kompa czy laptopa. Ale akurat z tym "wciskaniem" od lat stosują taką metodę Norton (najmocniej) McAfee oraz Kaspersky.

Programy, które nie zaliczyły testu:

Bitdefender Internet Security
(..)
SurfRight HitmanPro
Zemana Anti-malware

No proszę aż się nie chce wierzyć, że Bitdefender nie zdał testu.....
Teraz zasadnicze pytanie - jakim cudem nie zdały testu Zemana i Hitman skoro korzystają z silnika Kasperskiego? Nawet po 24h, gdzie te parametr był oceniany.

Test Av-Comparatives.... też jest zagadką. Otóż na forach związanych z bezpieczeństwem silnik Bitedendera jest bardzo skuteczny. Ale SDK ma wiele false positive. Nawet na forum Bitdefendera o tym piszą. Antywirusy oparte na ich silniku lub ze wsparciem ich silnika mają głównie właśnie false positive przez Rumunów. I jak mamy w teście? Bitdefender 0 pomyłek. BullGuard na silniku Bitka 4, Emsisoft 4 . Fsecure na silniku Bitka 22!!! Itd

Nie jestem tutaj specjalistą ale pozwolę sobie na pewną hipotezę.
Wg mnie testy wygrywa ten, kto więcej kasą posmaruje. Norton Kaspersky i Bitdefender to wielkie firmy na rynku AV. Inni są mniejsi. A mniejszy ma mniej funduszy.
Jak to się mówi - nie karmi się ręki która Cię karmi. Taki trend również mamy na polskich portalach, gdzie jakiś producent jest sponsorem i zarazem w każdy teście wygrywa (w różnych dziedzinach)
Znamy aferę, gdzie ADAC było opłacane przez koncern VW (wyniki aut tych marek w niezawodności).
Znamy również aferę, gdzie się okazało że AutoBild to w sumie gazeta producenta z Wolfsburga czyli VW (wszystkie testy wygrywało auto z koncernu VW i dzisiaj też wygrywa).
To są tylko przykłady i moja teoria. Nie szukam jakiegoś spisku ale mam takie zdanie.

Dlatego też, nie chce mi się wierzyć już w te testy.

Obrazek użytkownika Adrian Ścibor

#1 Daleko posunięte wnioski :) Pozwól, że odniosę się do części:

Jak udowodniono w teście, np. na przykładzie Bitdefendera, wynik każdego testu zależy od dobranych malware i zastosowanej metodologii. Testy takie powinno dać się odtworzyć w każdym czasie, ale nie mogą one być porównywane tak samo. Taka już jest rola testów. Więc stosując tą samą metodologię, ale na innym zestawie próbek można otrzymać za każdym razem inny wynik.

"Jakim cudem nie zdały testu Zemana i Hitman skoro korzystają z silnika Kasperskiego? Nawet po 24h, gdzie te parametr był oceniany."

I to celna uwaga. Powszechnie panuje opinia, że jeśli producent X korzysta z technologii producenta Y, to będzie miał taką samą skuteczność. Jest to kompletną bzdurą. To, co znajduje się pod maską z zapożyczonych mechanizmów wiedzą tylko producenci i jest to strzeżone tajemnicą. Różnice widać gołym okiem (wystarczy porównać Bitdefendera, F-Secure i Arcabit). Niech to też będzie odpowiedzią na pytanie związane z false positive.

Odnośnie do testów sponsorowanych - to jest długi temat i nie będę się tutaj o tym rozpisywał. Powiem tylko, że wystarczy przygotować materiał badawczy lub dostosować mateologię do konkretnego rozwiązania. Natomiast tajemnicą Poliszynela jest, że za uczestnictwo w testach AV-C płaci się duże pieniądze. Virus Bulletin podchodzi do tego inaczej - testy są (z tego co wiem) bezpłatne (lecz nie każdy chce w nich uczestniczyć, ponieważ [i tu także moim zdaniem] są one przygotowywane najbardziej rzetelnie), lecz już producenci muszą płacić za wykorzystanie ich logo / certyfikatów. I to nie małe pieniądze, bo cena zależy od rocznych przychodów i stanowi jakiś mały procent. Natomiast w testach MRG Effitas czasami jest info, kto jest sponsorem testu. W testach tych także bardzo często wygrywa Kaspersky... albo jako jedyny, albo wraz z innymi programami.

Ważną kwestią jest także dostawca materiału badawczego. Chyba każdy lab ma ich jakąś część ze swoich honeypotów, a z tego co mi wiadomo, to AV-C współpracuje pod tym względem z producentami, którzy dostarczają swoje próbki do testów. Może nie wszystkie, ale lwią część. Dlatego uważam testy AV-C za najmniej wiarygodne.

A w testy AVLab "wierzysz"? :-)

To powinieneś przeczytać:
https://avlab.pl/historia-powstania-av-comparatives-i-metodyka-testow
https://avlab.pl/jak-av-test-testuje-antywirusy-metodologia-i-narzedzia

Obrazek użytkownika Zyga

#2
Jasne, że daleko posunięte wnioski :) Lubię szukać dziury w całym. Mój ojciec zawsze czytał, że nie wierz we wszystko co piszą. Jeden zobaczył napis pupa na drewnianym płocie i po pomacaniu został ukarany drzazgą.

"Jak udowodniono w teście, np. na przykładzie Bitdefendera, wynik każdego testu zależy od dobranych malware i zastosowanej metodologii. Testy takie powinno dać się odtworzyć w każdym czasie, ale nie mogą one być porównywane tak samo. Taka już jest rola testów. Więc stosując tą samą metodologię, ale na innym zestawie próbek można otrzymać za każdym razem inny wynik. "

To akurat było ironia z mojej strony. Jak wiemy Bitdefender w 99.9% testów jest co najmniej na podium.

"I to celna uwaga. Powszechnie panuje opinia, że jeśli producent X korzysta z technologii producenta Y, to będzie miał taką samą skuteczność. Jest to kompletną bzdurą. To, co znajduje się pod maską z zapożyczonych mechanizmów wiedzą tylko producenci i jest to strzeżone tajemnicą. Różnice widać gołym okiem (wystarczy porównać Bitdefendera, F-Secure i Arcabit). Niech to też będzie odpowiedzią na pytanie związane z false positive. "

Jasna, że celna uwaga. Ale odniosę się do niej. Od kilkunastu dni czytam zagraniczne fora związane z bezpieczeństwem. Wymieniam się ze specami z tych for na PW.
Otóż, silnik SDK Bitdefendera jest dla wszystkich firm taki sam. Mówimy o silniku (akurat np w Fsecure nazywa się Aquarius) opartym na sygnaturach.
Każdy - Bitdefender, Gdata, Fsecure, Zemana (tutaj Kasper i ponoć jeszcze Avast) , Hitman Pro (tu też Kasper) BullGuard itd mają silnik taki sam, który jest oparty na sygnaturach.
Jako przykład
https://www.virustotal.com/en/file/ecc5cc62c8200954079191e586123522f88aa...
Wszystkie korzystające z silnika BitDefender mają taki sam podpis.

Różnica jest w dalszych częściach. Bitdefender ma dodatkową funkcję (technologię) maszynowego uczenia się. Ma pewnie jeszcze inne technologię o których nie wiemy i którym się nie dzieli. Podobna funkcję dużo wcześniej miał juz Fsecure w swoich silnikacj Hydra oraz DeepGuard. Inni producenci również mają swoje technologię i dodatkowe silniki jak np Gdata - CloseGap. Każdy producent który korzysta z silnika opartym na sygnaturach Bitdefendera ma swoje strzeżone technologie, z którymi się nie dzieli. To normalne. Bitek gdyby wszystko sprzedawał równie dobrze mógłby tylko na tym zarabiać.
Tylko skoro nawet na forum Bitdefendera (oficjalnym angielskim) twierdzą, że silnik Bitka ma dużo falsepositive to chyba coś nie tak. Bitek jeśli ma dużo w swoim silniku (silnikach) taką przypadłość, to dlaczego w testach ma ich prawie wcale?
I mówimy w tym przypadku o sygnaturach. Skoro główny silnik owych producentów to silnik Bitdefendera oparty na sygnaturach to dlaczego zatem analogicznie - korzystający z silnika Kasperskiego oparty na sygnaturach nie mają po 24h takich samych wyników jak Rosjanin?

Co do kwestii finansowych.
Pamiętam czasy jak się pojawił Eset na rynku jako jeszcze mała firma, która w testach Virus Bulletin wygrywała test za testem. Skoro tam się nie płaci, to test mozna było uznać za wiarygodny.
Po kilku aferach w różnych branżach nie chce mi się wierzyć, że producenci nie płacą za swoje wyniki.
Jasne (dzięki za linki) że metodyka metodyką ale.......skąd wiesz, że w wynikach np AVTest czy AV-C nie "manipulują"?

"Natomiast w testach MRG Effitas czasami jest info, kto jest sponsorem testu. W testach tych także bardzo często wygrywa Kaspersky... albo jako jedyny, albo wraz z innymi programami. "

No właśnie nie zastanawia Cię to ;)? Bo mnie na pewno.

Co do testów AVLab - nie znam, Dawno nie widziałem takiego ;)

Obrazek użytkownika Adrian Ścibor

#3
"Otóż, silnik SDK Bitdefendera jest dla wszystkich firm taki sam. Mówimy o silniku... Jako przykład virustotal.com... Wszystkie korzystające z silnika BitDefender mają taki sam podpis."

I o czym to świadczy? Właściwie o niczym. To, że mają taki sam podpis wynika z jednolitych sygnatur dla każdego - od jednego producenta. Ale to także nie świadczy o wyłączności na te sygnatury, bo jak dobrze wiesz, Arcabit, czy F-Secure korzystają z technologii Bitdefendera, ale też ze swoich sygnatur (np. pod względem wirusów makro Arcabit ma własny algorytm do takich rzeczy). A fakt, że SDK jest taki sam dla wszystkich właściwie także o niczym nie świadczy, bo każdy producent może zaimplementować "silnik" Bitdefendera na "różnym poziomem detekcji (są ich trzy)" (sygnatury lokalne, detekcja z użyciem clouda, IDS-a, integracja z własnym serwerem dla statystyk i zbierania info o zagrożeniach, kontrola rodzicielska, ochrona behawioralna...)

Producenci za odpowiednią cenę mają pełny wór możliwości, ale integrują tylko niektóre aspekty ochrony Bitdefendera, aby też nie robić zw swojego softu klona.

Teoretycznie więc, każdy kto korzysta z silnika Bitdefendera powinien mieć taką samą ochroną. Za kilkanaście dni zostanie upubliczniony nasz test (który jest w trakcie opracowywania), który także udowodni, że ów "silnik" Bitdefendera w różnych programach jednak różni się. I jakby tego było mało, to test będzie sprawdzał ochronę z użyciem sygnatur i leczenie już zainfekowanego systemu.

"Tylko skoro nawet na forum Bitdefendera (oficjalnym angielskim) twierdzą, że silnik Bitka ma dużo false positive to chyba coś nie tak. Bitek jeśli ma dużo w swoim silniku (silnikach) taką przypadłość, to dlaczego w testach ma ich prawie wcale?....

... I mówimy w tym przypadku o sygnaturach"

A no widzisz. Gdybyś prześledził w Wiresharku aktualizację antywirusa to dowiedziałbyś się, że sygnatury pobierane są nie od Bitdefendera, ale każdy producent dysponuje własnymi serwerami i dzięki SDK może aktualizować je w dowolnym odstępie czasu, niekoniecznie z taką częstotliwością, jak robi to Bitdefender i nie zawsze tak samo, jak robi to Bitdefender. Doskonały przykład to SecureAPlus: https://avlab.pl/zamien-swojego-antywirusa-na-secureaplus Skanowanie z wykorzystaniem silników odbywa się w Singapurze (tam są zlokalizowane serwery SecureAge), a nie bezpośrednio i z osobna w różnych krajach na świecie.

Testami zajmuję się już kilka lat, więc mogę powiedzieć tak: właśnie tym odróżniają się wielkie laby od "amatorskich" testów. Testy to nie tylko metodologia, to przede wszystkim metodyka, na którą składa się oprogramowanie i sprzęt w który wyposażony jest lab, aby bardziej lub mniej automatyzować żmudny proces testó (koszty są ogromne) oraz niezwykle istotna kwestia - materiał badawczy (malware). Mając odpowiednią wiedzę, narzędzia i budżet można opracować rozwiązanie, które pozwoli w 100% (nie w 99%) ustalić, że malware1 jest faktycznie wirusem, a nie fałszywym alarmem. Tak zwane paczki kompletowane przez różne osoby i udostępniane tu i ówdzie nie dają takiej gwarancji, więc potem powielane są takie, a nie inne komentarze wśród użytkowników.

Ogólnie problem z wirusami jest także taki, że wiele z tych nowszych - i bardziej zaawansowanych - nie uruchamia swoich szkodliwych ładunków w maszynach wirtualnych lub robi to, ale w określonych warunkach (np. czekając na uruchomienie programu X lub otworzenie strony Y). Wszystko po to, aby utrudnić analizę oraz debugowanie. To jest też bardzo ważne w testach, aby upewnić się o faktycznej szkodliwości takiego wirusa.

Bo co z tego, że malware1 zostanie uruchomiony (i jest wykrywany na VirusTotal), skoro nie wyrządza faktycznej szkody w systemie wirtualnym? Czy taką próbkę traktować jako zagrożenie? Tak? A może nie? Czy jeśli program AV1 zdoła ją wykryć i zablokować, a program AV2 już nie, w jaki sposób traktować taki wynik, skoro AV1 zdołał wykryć zagrożenie sygnaturą, a program AV2 czekał na analizę zachowawczą wirusa, która ze względu na wykrycie uruchomienia w systemie wirtualnym nie wyzwoliła szkodliwego kodu? To jest bardziej skomplikowane, niż może się wydawać. Te oraz wiele innych kwestii należy brać pod uwagę, aby testy takie były traktowane profesjonalnie przez producentów AV i osoby interesujące się tym tematem.

"Skoro główny silnik owych producentów to silnik Bitdefendera oparty na sygnaturach to dlaczego zatem analogicznie - korzystający z silnika Kasperskiego oparty na sygnaturach nie mają po 24h takich samych wyników jak Rosjanin?"

Jak wyżej.

" Pamiętam czasy jak się pojawił Eset na rynku jako jeszcze mała firma, która w testach Virus Bulletin wygrywała test za testem. Skoro tam się nie płaci, to test mozna było uznać za wiarygodny. Po kilku aferach w różnych branżach nie chce mi się wierzyć, że producenci nie płacą za swoje wyniki."

W tym wypadku nie spotkałem się z opinią - nawet od producentów - że za test się płaci. Jedno jest pewne, płaci się za wykorzystanie (pochwalenie się) w materiałach promocyjnych, na stronie www, itp. certyfikatu lub logo VB. Co do twojej opinii nie mam 100% pewności. Ale spojrzyj też na to z drugiej strony - chciałbyś pracować charytatywnie? Takie laby to także firmy, które mają na tym zarobić, aby móc dalej tworzyć kolejne materiały.

"Jasne (dzięki za linki) że metodyka metodyką ale.......skąd wiesz, że w wynikach np AVTest czy AV-C nie "manipulują"?"

A skąd wiesz, że AVLab nie manipuluje i ja nie robię tego całą tą wypowiedzią? :-) Skąd masz pewność, że teorie spiskowe dziejów to prawda lub całkowita manipulacja? Otóż w profesjonalnych testach musi istnieć coś takiego jak powtarzalność. Każdy producent może wystąpić z prośbą o udostępnienie środowiska (zrzut systemu) roboczego oraz materiał badawczy, aby jeszcze raz powtórzyć sobie taki test i zweryfikować wyniki. Właśnie po to podaje się wersje testowanych programów. Nie zawsze odtworzenie jest to możliwe ze względu na specyficzne malware.

"Co do testów AVLab - nie znam, Dawno nie widziałem takiego ;)"

Wielkiego testu porównawczego nie było dawno, fakt. Będzie pod koniec miesiąca. Ale za to są testy przy recenzowanych programach.

Obrazek użytkownika Zyga

#4
"I o czym to świadczy? Właściwie o niczym. To, że mają taki sam podpis wynika z jednolitych sygnatur dla każdego - od jednego producenta. Ale to także nie świadczy o wyłączności na te sygnatury, bo jak dobrze wiesz, Arcabit, czy F-Secure korzystają z technologii Bitdefendera, ale też ze swoich sygnatur (np. pod względem wirusów makro Arcabit ma własny algorytm do takich rzeczy). A fakt, że SDK jest taki sam dla wszystkich właściwie także o niczym nie świadczy, bo każdy producent może zaimplementować "silnik" Bitdefendera na "różnym poziomem detekcji (są ich trzy)" (sygnatury lokalne, detekcja z użyciem clouda, IDS-a, integracja z własnym serwerem dla statystyk i zbierania info o zagrożeniach, kontrola rodzicielska, ochrona behawioralna...)"

Odnoszę się do wyniku po 24h. Jeśli systemy heurystyczne behawiorystyczne itd łącznie z chmurą nie rozpoznają w pierwszym przypadku zagrożenia, to po 24h jeśli rozpoznają to zapewne przez sygnatury. A silnik SDK dla wszystkich oparty jest na sygnaturach.
Więc jeśli ktoś korzysta z silnika Kasperskiego czy też Bitdefendera opartego na sygnaturach to POWINIEN po 24h również wykrywać próbki

Nie znam wszystkich rozwiązań AV na rynku ale silnik w Fsecure Aquarius to silnik Bitdefendera oparty na na sygnaturach.
Reszta czyli detekcja z użyciem clouda, IDS, ochrona behawioralne to już rozwiązania Fsecure (Hydra Gemini DeepGuard itd) . Na Rookity to ich silnik Blacklight, który jest zamontowany bodajże w DeepGuard.
Co do aktualizacji -miałem przez 27 dni BitDefendera na dysku i za dnia jest praktycznie znikoma ilość aktualizacji ich sygnatur. Średnio między godz 7 a 19 to 3-4 aktualizacje. Co godzinę najczęściej między 21 a 3 w nocy.
Tak samo się aktualizuje Fsecure. Silnik Aquarius w godzinach wieczornych praktycznie co godzinę ma aktualizację sygnatur. Więc - nie badałem od środku ale wygląda na to, że głowny silnik Bitka dla np Fsecure (a może i większości z niego korzystających) jest na bieżąco.

https://pl.safeandsavvy.f-secure.com/2016/08/22/o-co-chodzi-z-ta-logika-...

"Producenci za odpowiednią cenę mają pełny wór możliwości, ale integrują tylko niektóre aspekty ochrony Bitdefendera, aby też nie robić zw swojego softu klona. "

Otóż to. Żaden producent (jak już wcześniej napisałem) nie bedzie się dzielił wszystkimi rozwiązaniami, bo na tym straci. Na rynku trzeba mieć patent aby być "lepszym" od reszty.

"Bo co z tego, że malware1 zostanie uruchomiony (i jest wykrywany na VirusTotal), skoro nie wyrządza faktycznej szkody w systemie wirtualnym? Czy taką próbkę traktować jako zagrożenie? Tak? A może nie? Czy jeśli program AV1 zdoła ją wykryć i zablokować, a program AV2 już nie, w jaki sposób traktować taki wynik, skoro AV1 zdołał wykryć zagrożenie sygnaturą, a program AV2 czekał na analizę zachowawczą wirusa, która ze względu na wykrycie uruchomienia w systemie wirtualnym nie wyzwoliła szkodliwego kodu?"

Jeśli nie wyrządza szkody to nie jest zagrożeniem. Dla mnie to logiczne ;)

"Ale spojrzyj też na to z drugiej strony - chciałbyś pracować charytatywnie? Takie laby to także firmy, które mają na tym zarobić, aby móc dalej tworzyć kolejne materiały. "

Jasne, że testy kosztują. Ale nie mamy pewności, że jedna firma płaci więcej, druga mniej. Np w F1 jest minimalne wpisowe aby zaistnieć w mistrzostwach a tylko te mocniejsze finansowo teamy się biją o tytuły.
Jeśli byłoby to jawne, że każdy płaci tyle samo bo np za wzięcie udziału w teście jest wpisowe o odpowiedniej kwocie, to moglibyśmy uznać to testy za "wiarygodne"
Ale nikt z nas do takich rzeczy nie ma wglądu i nikt nie wie, czy jedna firma płaci minimum a druga płaci znacznie więcej aby wygrać test.
Do tego zmierzam.

"A skąd wiesz, że AVLab nie manipuluje i ja nie robię tego całą tą wypowiedzią? :-) Skąd masz pewność, że teorie spiskowe dziejów to prawda lub całkowita manipulacja? "

Nie wiem :) A skąd mam wiedzieć, kto Ci płaci :P
Po ostatnich wychodzących aferach z wszelkich branż jestem specyficznie nastawiony do testów.

"Wielkiego testu porównawczego nie było dawno, fakt. Będzie pod koniec miesiąca. Ale za to są testy przy recenzowanych programach."

I super. Jestem ciekaw jak wypadną poszczególni producenci.
Szkoda tylko, że wrześniu. W październiku i listopadzie wychodzą już nowe wersje na rok 2017 (przeważnie już po aktualizacjach wszelkich silników) i po miesiącu ten test będzie "przestarzały"

A testy przy recenzjach raczej uznaje jako "raport z jazdy" niż test ;)

Obrazek użytkownika Zyga

Jeszcze jedną rzecz skojarzyłem.
Jeśli spojrzymy na testy AV (często to widać na youtube) na malware czy też inne wirusy oraz na phishing bądź zagrożenia z przeglądarek, to co po teście robią testerzy?
Skanują takimi narzędziami jak: Zemana Antimalware, HitmanPro, Emsisoft Emergency Kit czy MBAM. Już wielokrotnie widziałem jak się Kaspersky czy Bitdefender wyłożyli na teście (piszę o nich, bo o ich silnikach mówimy) i nie wykrywali nic a te narzędzia tak. I to głownie w "wirusy" które można było znaleźć w menadżerze zadań jako aktywne.
Stąd moje specyficzne podejście do tych testów ;)

Obrazek użytkownika Adrian Ścibor

#5
"A silnik SDK dla wszystkich oparty jest na sygnaturach. Więc jeśli ktoś korzysta z silnika Kasperskiego czy też Bitdefendera opartego na sygnaturach to POWINIEN po 24h również wykrywać próbki"

Dobrze się wymienia zdania, więc będę kontynuował temat. Jak napisałem, SDK umożliwia korzystanie z 3 poziomów ochrony, nie tylko sygnatur. Kolejna rzecz - VirusTotal -nie może być utożsamiany z silnikiem antywirusa zainstalowanego w systemie, w jakim na co dzień pracuje. Stare, ale jare: https://avlab.pl/virustotal-od-kuchni A co do tych 24 godzin, to też bez przesady. Czasami opracowanie sygnatury trwa kilka dni, nawet z użyciem adaptacyjnego uczenia / rozpoznawania zagrożeń maszynowego. A i to o niczym nie decyduje, bo taką sygnaturę trzeba przetestować zanim trafi na komputery końcowe. M.in. stąd biorą się te wpadki antywirusów: https://avlab.pl/wpadki-antywirusow oraz plamy Microsoft, który od czasu do czasu daje plamę i unieruchamia komputery. I też jest coś w tym prawdy, że najlepsze producent Bitdefender czy Kaspersky pozostawia dla siebie, aby przypadkiem nie być w tyle przez swoją "strategię rozwoju". Ale... jak pokaże ów nasz test, gdzie jest m.in Emsisoft Emergency Kit, Arcabit Skaner Online, to ich poziom detekcji na tych samych próbkach jest bardzo wysoki, ale nieznacznie inny. Natomiast program uważany z "króla" skanerów "od czasu do czasu" sromotnie zawodzi.

A co do kwestii F-Secure. Korzysta nie tylko z Bitdefendera, ale też z własnych, więc może stąd ta większa częstotliwość update. W dodatku trzeba sprawdzać, co się aktualizowało, bo niekoniecznie sygnatury.

"I super. Jestem ciekaw jak wypadną poszczególni producenci. Szkoda tylko, że wrześniu. W październiku i listopadzie wychodzą już nowe wersje na rok 2017..."

Jest to test skanerów na żądanie i leczenie systemu. Więc z tymi nowymi wersjami to bym nie przesadzał. Żadnej rewolucji nie będzie.

Mam nadzieję, że kwestia technologii Bitdefender w innych AV jest jasna. Jeśli nie, to spróbuję nadal pomóc.

Obrazek użytkownika Adrian Ścibor

#6
"I to głownie w "wirusy" które można było znaleźć w menadżerze zadań jako aktywne."

To, że proces (tak naprawdę program wykonywalny będący w trakcie działania) zostanie wykryty przez jakiś skaner jeszcze nie świadczy o jego faktycznej szkodliwości. Może - jak pisałem - wyrządzać szkody w systemie rzeczywistym, ale jeśli zostaną wykryte sterowniki, klucze rejestru, nazwy kart graficznych, adresy MAC i wszystko to, co pozwala na detekcję systemu wirtualnego - to może po prostu nie robić zupełnie nic.

I to jest właśnie ten problem, o którym wspominałem. Skąd ów tester wie, że proces jest w 100% szkodliwy? Przecież bez odpowiednich rozwiązań, które pozwalają na automatyzację nikt tego nie weryfikuje przy takich testach. Proces może być uruchomiony, ale malware może po prostu nie robić nic. Zupełnie nic. Wyjaśniłem to wcześniej podając przykład systemów wirtualnych i malware1 w komentarzu #4 albo #2 (nie chce mi się czytać tego, co napisałem już).

Obrazek użytkownika Zyga

#7
"A co do tych 24 godzin, to też bez przesady. Czasami opracowanie sygnatury trwa kilka dni, nawet z użyciem adaptacyjnego uczenia / rozpoznawania zagrożeń maszynowego."

Nie rozumiesz, na co zwracam uwagę w tym przypadku.
Test MR, gdzie jest oceniana "detekcja" po 24h - oznaczona na wykresach kolorem żółtym.
Jeśli w pierwszym "rozdaniu" BitDefender oraz Kaspersky nie rozpoznają próbki wszelkimi metodami, to w ciągu tych 24h jak widać poradzili sobie z dość dużym procentem zagrożeń. HitmanPro ma silniki w/w i nie ma takiej skuteczności.
Do tego zmierzam.

"Natomiast program uważany z "króla" skanerów "od czasu do czasu" sromotnie zawodzi. "
Ciekawe, które to rozwiązanie jest królem skanerów ;)

"A co do kwestii F-Secure. Korzysta nie tylko z Bitdefendera, ale też z własnych, więc może stąd ta większa częstotliwość update. W dodatku trzeba sprawdzać, co się aktualizowało, bo niekoniecznie sygnatury. "

Fsecure nie ma jednego składnika w aktualizacjach. Każdy z jego silników jest aktualizowany osobno. Aquarius to BitDefender i zazwyczaj w godzinach wieczornych jest co godzinę, Reszta silników czy też składowych - czyli "patenty" Fsecure są aktualizowane osobno (każdy z nich).
Nie mogę teraz znaleźć linka ale Aquarius to sygnatury.

Obrazek użytkownika Zyga

#8
"To, że proces (tak naprawdę program wykonywalny będący w trakcie działania) zostanie wykryty przez jakiś skaner jeszcze nie świadczy o jego faktycznej szkodliwości. Może - jak pisałem - wyrządzać szkody w systemie rzeczywistym, ale jeśli zostaną wykryte sterowniki, klucze rejestru, nazwy kart graficznych, adresy MAC i wszystko to, co pozwala na detekcję systemu wirtualnego - to może po prostu nie robić zupełnie nic. "

Podam to na przykładzie.
Gdy testowałem cracka, który składał się dwóch składników to:
1) Przy standardowych ustawieniach - BitDefender widział tylko jeden składnik. Drugi olewał.
2) Przy ustawieniach maksymalnych - dwa składniki były "usuwane" czy też wykrywane przez BitDefendera

HitMan Pro zawsze pokazywał dwa składniki jako zagrożenia (malware) i to na sygnaturach BitDefendera. Bo jak wiadomo, Hitman ma jeszcze silnik Kasperskiego.

Dlatego dziwi mnie niezdanie testu przez Bitdefendera oraz HitMan a zdał go Kaspersky.

Obrazek użytkownika Adrian Ścibor

#9
"Nie rozumiesz, na co zwracam uwagę w tym przypadku. Test MR, gdzie jest oceniana "detekcja" po 24h - oznaczona na wykresach kolorem żółtym."

Przypominam, że HitmanPro był testowany tylko jako skaner na żądanie i nie brał udziału w ponownym skanowaniu.

#10
"Gdy testowałem cracka, który składał się dwóch składników to:
1) Przy standardowych ustawieniach - BitDefender widział tylko jeden składnik. Drugi olewał.
2) Przy ustawieniach maksymalnych - dwa składniki były "usuwane" czy też wykrywane przez BitDefendera"

Testowanie na crackach czegokolwiek to nie jest najlepsza metoda porównawcza. To tak, jakby powiedzieć, że antywirus nie wykrywa pliku EICAR jako zagrożenia, a powinien. Musisz wreszcie zrozumieć, że program1, który korzysta z silnika Bitdefendera niekoniecznie musi mieć zaimplementowane te wszystkie funkcje, które umożliwia jego producent.

Obrazek użytkownika MS.

#1 Ja jestem (byłem) zwykłym użytkownikiem GDATA. Ten program w ogóle nie działał pod Win10! :) To znaczy skaner antywirusowy nie był w stanie przeskanować dysków twardych przez 2 doby. :) Po roku wypowiedziałem umowę licencyjną i zażądałem od sprzedawcy zwrotu pieniędzy za ten bubel. Dodatkowo wsparcie techniczne GDATA jest rewelacyjne, odpowiadają już po 5 dniach wklejając odpowiedź z własnej strony FAQ :) . Ja nie chcę tego programu nawet gdyby mi dawali go za darmo. Odradzam wszystkim którzy pracują pod Win10.

Obrazek użytkownika Zyga

#11
Kurcze.....nie doczytałem tego zdania.
Więc jak wtedy można napisać, że np Hitman nie zdał testu skoro nie brał udziału w ponownym skanowaniu?

Ciekawy news przy okazji ;)

http://satinfo24.pl/f-secure-wspoltworzy-canvas-sojusz-rzecz-etyki-cyber...

Obrazek użytkownika jurek

dziwną informację zamieścił MS, używam GDATA od 2 lat w tym na Win10Prp_x64 odkąd się pojawił i nigdy nie miałem problemów ze skanowaniem dysków czy czegokolwiek innego,

Obrazek użytkownika Adrian Ścibor

#14 Każdy może zamieszczać swoje opinie. Widocznie miał takie problemy. Ja również nie zauważyłem takich niedogodności.

Obrazek użytkownika Zyga

#14
Nie cierpię Gdaty. Zawsze z nią mam problem. Dwa razy mi namieszała na kompie po odinstalowaniu. Dwie szanse dałem, trzeciej już nie dam ;)

Obrazek użytkownika Zyga

#7
"Ale... jak pokaże ów nasz test, gdzie jest m.in Emsisoft Emergency Kit, Arcabit Skaner Online, to ich poziom detekcji na tych samych próbkach jest bardzo wysoki, ale nieznacznie inny. Natomiast program uważany z "króla" skanerów "od czasu do czasu" sromotnie zawodzi. "

Jak test pokaże, to zakładam, że wygra Bitdefender ;)

I co to jest ten "król skanerów"? Co masz na myśli ? :)

Obrazek użytkownika Zyga

Jeszcze jedno.
Mieliśmy z Twojej strony Adrian opinię na temat AV-C, MRG i VB.
Żeby skończyć wątek. co myślisz o testach AV-Test ;)?

Obrazek użytkownika Adrian Ścibor

#17
Mam na myśli MBAM w wersji bezpłatnej.

#18
Nic specjalnego nie myślę. Weźmy najnowszy test: https://avlab.pl/av-test-najlepsze-antywirusy-w-sierpniu-2016
Najważniejsza jest oczywiście kolumna Protection. Dla mnie mniej Performance, bo na SSD wszystko działa szybko, a Usability - nie obchodzi mnie liczba fałszywych alarmów, ponieważ sam to potrafię zweryfikować.

W kolumnie Protection July | August | Industry average. Ten ostatni to średni wynik dla wszystkich testowanych antywirusów. Ochrona przed 0-day jest najważniejsza. No i warto wybierać te AV, które uzyskały 18 pkt, czyli otrzymały cert. TOP PRODUCT. A jeżeli wydajność i użyteczność nie jest taka ważna, to przynajmniej ochrona musi być na 6 punktów.

Jeszcze ta lektura: https://avlab.pl/av-test-najlepsze-antywirusy-w-sierpniu-2016

Obrazek użytkownika Zyga

#19
MBAM? Król skanerów? :) Pierwsze słyszę.
Podobnie jak na necie najlepszy jest Comodo bo jest za darmo ;)

Jestem całkowicie innego zdania. Dla mnie królem skanerów jest HitManPro.

W każdym razie z doświadczenia (może komuś się przyda ;) )
1) Na kompie zainstalowany AV - Bitdefender/Fsecure
2) Od czasu do czasu skan online scannerem - Eset
3) Skan HitManPro, Zemana Antimalware i Emsisoft Emergency Kit (wszystko można mieć wersję portable)
4) Skan AdwCleaner (również wersja portable)

Ja stosuje nr 1, nr 2, z nr 3 HitManPro (silnik Kaspersky i Bitdefender) oraz ewentualnie dla pewności Zemana i AdwCleaner.
Komp czysty, bezpieczny i sprawdzony pod każdym względem.
HitManPro nie usuwam (bo zaraz się robi wersja trial na 30dni), Zemana można usuwać w razie czego a Adw - do głównie do PUP (tutaj chyba tylko Eset sobie dobrze radzi z blokowaniem aplikacji z tym wbudowanym syfem podczas instalacji) i ich usuwania oraz do czyszczenia rejestru po PUP.
Z PUP słabo sobie radzi Fsecure i Bitdefender i to ich jedyna jeśli chodzi o bezpieczeństwo wada w stosunku do Eset. Ale tylko jedna, gdzie Eset ma ich o wiele więcej.

@18
Mi raczej chodziło o wady i zalety testów AV i na ile są wiarygodne w kontekście do powyższych wniosków o AV-C, VB czy MRG
Jeśli chodzi o protection dawno nie widziałem, aby maksymalnej oceny nie miały - Bitdefender, Kaspersky, Fsecure oraz TrendMicro. Reszta zazwyczaj jest słabsza a w Polsce z dobrze znanych dawno maksymalnej oceny nie widziałem przez Eset czy Gdata (niezależnie jaka wersja Windowsa) - często nawet dużo słabsze wyniki od best protection

Kaspersky i Bitdefender przeważnie są TOP, bo są najbardziej rozbudowanym pakietem i dość lekkim.

Obrazek użytkownika Zyga

#20
Mała poprawka.
Sprawdziłem i muszę poprawić mój wpis.
Jeśli chodzi o protection w AVTest to tylko Kaspersky i FSecure nie mieli wpadki i od dawna zawsze dostają maks punktów. Jedną czy dwie na krzyż wpadki miały Bitdefender oraz Trend Micro. Reszta różnie ale zazwyczaj słabiej lub dużo słabiej. Tak jest np z Eset czy GData, gdzie u nich "wpadką" jest uzyskanie maks punktów, jeśli chodzi o protection ;) Opis dotyczy różnych systemów Windows dla domu i firm.

Obrazek użytkownika Zyga

Posługując się cytatem :)
"Teoretycznie więc, każdy kto korzysta z silnika Bitdefendera powinien mieć taką samą ochroną. Za kilkanaście dni zostanie upubliczniony nasz test (który jest w trakcie opracowywania), który także udowodni, że ów "silnik" Bitdefendera w różnych programach jednak różni się. I jakby tego było mało, to test będzie sprawdzał ochronę z użyciem sygnatur i leczenie już zainfekowanego systemu. "

Dwa pytania:

1) Czy ten Twój (Wasz) test będzie opisywał wszystkie, bądź większość wątków, które poruszyliśmy w tej wymianie zdań, jak i w całym tym temacie?
2) Kiedy mniej więcej będzie test? Zdążysz go upublicznić do ok 15 października? Jeśli dobrze zakładam, że wygra to Bitdefender :), to chciałbym wiedzieć znacznie szybciej ponieważ.... jest obecnie promocja - 50% zniżki na Internet Security ;) i chciałbym się na nią załapać :)

Obrazek użytkownika Adrian Ścibor

#22
ad1. Nie wiem, nie pamiętam :) W tym tygodniu się przekonasz.
ad2. Patrz ad1.

Obrazek użytkownika Zyga

Ok.
A kiedy ten test, który "wykrakaliście" na FB Kaspersky? :) Czyli "przed całkowicie niewykrywalnym (FUD) crypto-ransomware"? :)

Obrazek użytkownika Adrian Ścibor

#24 W tym miesiącu. Publikacja wyników najprawdopodobniej początek listopada.

Obrazek użytkownika Zyga

#25
Za późno :)!!!
To ja poproszę informacje przed upublicznieniem kto został sklasyfikowany na podium ;) Nie musi być opis, tylko wynik - 1. 2. 3 :)
Promocja Bitka jest do końca października i nie chciałbym jej ominąć ;)

Obrazek użytkownika Adrian Ścibor

#26
Jakie za późno? Mylisz dwa testy.

W tym tygodniu zostanie udostępniony test bezpłatnych skanerów antywirusowych (test detekcji i leczenia zainfekowanego systemu). Nie ma w nim Bitdefendera, ale są aplikacje korzystające z sygnatur Bitdefendera.

Test na ochronę ransomware to zupełnie inny test, który dopiero jest w opracowywaniu.

Obrazek użytkownika Anonim

#27
Nie mylę testów.
Przecież wspominałeś, że obecny test będzie testem skanerów na żądanie. Nawet sobie zażartowałem z tym, że wygra Bitdefender ;)

Mi chodziło o podanie wyników do testu na ochronę ransomaware (do Twojej odpowiedzi nr 25)

Ale to już tak pozamiatane.
Po wielu testach, prób i błędów. Po testach na 3 komputerach - mojego i dwóch znajomych, po wybraniu zalet i wad, wybraliśmy między Fsecure a BitDefenderem - BiyDefender Internet Security. Na zimno bez podniety, wyszło że jednak Bitek oferuje znacznie więcej i ma mniej wad.
W każdym razie. Na 3 komputery na 3 lata zapłaciliśmy 199zł. Prawie jak za darmo ;)

Dodaj komentarz