Comodo vs Emsisoft - kontrowersje wokół testów

Zapytano mnie zupełnie niedawno, dlaczego Comodo Internet Security 2013 oraz Emsisoft Internet Security Pack 7 (Emsisoft Anti-Malware 7 + Online Armor 6) uzyskują tak słabe wyniki w naszych testach malicious url i nie otrzymują certyfikatów?

Spotkałem się też z opiniami, że nieprawdą jest jakoby tak dobre "pakiety"[1] zabezpieczające są tak słabe w naszym teście Malicious URL oraz, że testy są nierzetelne. Otóż sprawa wygląda następująco:

[1]Zarówno CIS jak i EIS nie są pakietami typu Internet Security, chociaż mają je w nazwie. Aby Comodo spełniał standardy brakuje mu jeszcze antyspamu oraz kontroli rodzicielskiej. Jeśli chodzi o Emsisoft - tutaj sprawa jest inna. Emsisoft Internet Security Pack 8 to zlepek dwóch innych programów w jednej "instalce", ale są to programy od jednego producenta tj. Emsisoft Anti-Malware 8 i Online Armor 6. Również EIS brakuje kontroli rodzicielskiej i antyspamu.

Możecie zauważyć, że od paru dni nie testujemy już wersji EIS 7 (Emsisoft Internet Security 7) a wersję 8. Na wykresach też nie znajdziecie wersji 7. Postaramy się to zmienić i zaprogramować archiwum wyników w najbliższym czasie.

O ile wykrywalność programów w teście real-time jest prawie doskonała o tyle już w teście malicious-urljuż nie. Ale dlaczego tak się dzieje?

Słowo wstępu o testach

Naszym celem jest pokazanie jak programy antywirusowe, zarówno te płatne jak i darmowe spisują się w rzeczywistości. Materiał badawczy codziennie dostarcza nam Malware.pl. Wirusy pochodzą ze stron polskich i zagranicznych. Rodzaje wirusów w tescie Real Time to m.in: trojany, spyware, dialery, exploity, rootkity, keyloggery, fałszywe antywirusy, niepożądane i zainfekowane adware, backdoory, jak również inna złośliwa zawartość w plikach Javascript-u. W testach Malicious URL są to wszelkiego rodzaju strony zawierające szkodliwą treść m.in: robaki, konie trojańskie, strony phishingowe oraz złośliwa zawartość w plikach m.in Javy, Active-X. Oczywiście musieliśmy zachować pewne cechy testowania, które określa organizacja zajmująca się wyznaczaniem standardów - Anti-Malware Testing Standards Organization. Nie chcę przepisywać tutaj naszej metodologii, ale nadmienię, iż wszystkie testowane programy w testach porównawczych powinny być sprawdzane na domyślnych ustawieniach. I na nic tutaj zdają się narzekania użytkowników, że Comodo czy inny program antywirusowy powinien być inaczej skonfigurowany, bo zapewnia na innych ustawieniach lepszą ochronę. Gdybyśmy zwiększyli poziom ochrony dla jednego programu a dla drugiego nie, gdzie byłaby sprawiedliwość? To od producenta oprogramowania zależy w jaki sposób zaprogramuje ustawienia domyślne. Jedynym wyjątkiem są testy Malicious-URL, gdzie włączaliśmy ochronę HTTP jeśli program domyślnie miał ją wyłączoną. Tak było w przypadku ArcaVir. Było, ponieważ zrezygnowaliśmy z testowania tego polskiego programu ze względu na bardzo kiepskie wyniki w obu testach.

Od jakiegoś czasu przyznajemy programom antywirusowym certyfikaty za wyniki w LabAV. Aby zdobyć certyfikat należy zdobyć średni wynik za poziomie 60% lub więcej z testów real-time i malicious-url. O ile wykrywalność EIS oraz CIS w real-time stoi na najwyższym poziomie, o tyle w testach malicious-url wyniki są tak słabe, że bardzo zaniża to średnią końcową ocenę.

Jeśli chodzi o testy real-time

Comodo - bardzo dobra detekcja sygnaturowa i do tego moduł Defense+, na który składa się HIPS, sandbox i bloker behawioralny (zachowawczy). Przypadki, kiedy program nie zablokuje zagrożenia są wyjątkami. I już wiem o co mogą zapytać bardziej dociekliwi użytkownicy - jak można przeczytać w metodologii:

Wiele programów antywirusowych wyświetla okienko z powiadomieniem i prosi użytkownika o reakcję. Takie czynności mogą powodować zamieszanie w testach (np. jeśli program pyta o pozwolenie, czy blokować zagrożenie a Tester zawsze klika twierdząco, to skuteczność produktu będzie zupełnie inna niż wtedy, gdy Tester zawsze klika przecząco).

Wytyczne dla okienek pop-up: 

§Testerzy powinni zdecydować o interakcji programu z użytkownikiem. Będziemy wybierać najbardziej korzystne działania, aby skuteczność programu była jak największa. 

§Testerzy powinni zgłosić, ile interakcji z użytkownikiem wymaga dany produkt. To pozwoli określić, czy program antywirusowy jest zautomatyzowany i nie wymaga żadnych reakcji ze strony użytkownika, czy wręcz odwrotnie. 

Istnieje również inny rodzaj okienek pop-up, które nie będą brane pod uwagę: 

§Produkt zgłosi, że podjęte działanie zostało wykonane. 

§Produkt pyta o pozwolenie przed podjęciem automatycznych działań.

Jeśli chodzi o Emsisoft - silnik antywirusowy Bitdefendera, więc detekcja również bardzo dobra. Do tego dochodzi jeszcze analiza zachowawcza.

Testy Malicious-URL

W tych testach sprawa wygląda inaczej. Aby nie być gołosłownym i raz na zawsze wyjaśnić sytuację zapytałem o zdanie samych producentów drogą mailową. I co się okazało? Potwierdzili to o czym sami wcześniej pisaliśmy w recenzjach programów. A wygląda to następująco:

Comodo Internet Security 2013 - ochrona stron internetowych polega tylko na korzystaniu przez program z bezpiecznych serwerów DNS. Comodo nadpisuje serwery DNS dostarczane przez ISP(provider - dostawca internetu) swoimi. DNSy wykorzystują technologię routing anycast - co oznacza, że bez względu na to, gdzie jesteśmy podłączeni do sieci, żądania DNS są odbierane przez najbliższe serwery Comodo. Bezpieczne DNS-y pozwalają użytkownikom zachować bezpieczeństwo w Internecie, chronią przed stronami zawierającymi malware oraz korzystają z RBL (Real-Time Black List), które zawierają informacje o szkodliwych stronach internetowych np. strony phishingowe, witryny zawierające malware, spyware, nadmierne ilości reklam, potencjalne szkodliwe oprogramowanie itp.

Czy to wystarczy, aby chronić użytkownika przed w/w zagrożeniami? Nie. Ale dlaczego?

Comodo nie analizuje stron w czasie rzeczywistym, czyli po wpisaniu adresu do strony www i naciśnięciu "enter". Comodo używa do ochrony tylko filtry statyczne, czyli te DNSy, które zawierają bazę szkodliwych stron. Filtr dynamiczny nie istnieje, czyli analiza real-time.

Dziennie powstaje ogromna liczba szkodliwego oprogramowania oraz stron phishingowych. Jak się przed tym uchronić? Rozwiązanie Comodo nie jest dobre. Pokazują to nasze testy w Laboratorium Antywirusowym (w menu: LabAV) oraz na przykład test antyphishingowy.

Emsisoft Internet Security Pack 8 - również korzysta tylko z filtrów statycznych. Nie skanuje zawartość strony internetowej w czasie rzeczywistym (brak filtra dynamicznego). Jednak skanuje zawartość pamięci podręcznej przeglądarki, lub kiedy tworzone są nowe pliki, a stare są modyfikowane. Program blokuje stronę kiedy już wie, że jest szkodliwa.

Tak więc, czy Comodo i Emsisoft są słabymi pakietami?

W żadnym wypadku. Programy te prezentują ścisłą czołówkę jeśli chodzi o ochronę anty-malware (z jęz. ang. "malware" - złośliwe oprogramowanie; anty-malware = antywirus). Jednak użytkownik powinien mieć łeb na karku. Programy te nie zawsze ochronią nas przez złośliwym kodem zawartym w JavaScript wykonującym się w przeglądarce. Dobrze byłoby też wiedzieć czy trafiliśmy na np. stronę phishingową. Wbrew pozorom nie jest to trudne do opanowania.



Learn more about our offer

If you sell security solutions, are a distributor, authorized partner or developer and would like to share your portfolio with a group of potential customers, advertise an event, software, hardware or other services on AVLab - simply write to us. Or maybe you had to deal with ransomware? We can also help you decrypt your files.
Read more

We use Google Cloud Translation and Gengo API’s to translate articles with exception of our comparative tests.