Nie wszystko na świecie postępuje płynnie. Siłom zła często udaje się zwabić na ciemną stronę nawet najlepszych i najbardziej prawych. Tym razem trafiło na jedno z najpopularniejszych laboratoriów zajmujących się testowaniem oprogramowania antywirusowego – AV-TEST.
Jak wybrać najlepszy produkt w danej kategorii? I skąd mieć pewność, że ten wybór rzeczywiście jest dobry? Najprawdopodobniej każdy z nas rozpocznie od analizowania wyników testów porównawczych publikowanych przez specjalistyczne magazyny lub ich odpowiedniki online. Z pewnością każdy kiedyś tak robił. To samo dotyczy produktów do ochrony przed szkodliwym oprogramowaniem – na rynku istnieje szereg laboratoriów testowych, które porównują aplikacje antywirusowe i publikują wyniki.
Z niewiadomych przyczyn (poniżej przedstawię moje zdanie na ten temat) uznane niemieckie laboratorium AV-TEST po cichu (nie podano oficjalnie żadnej informacji na ten temat) zmodyfikowało swój proces certyfikacji produktów dla użytkowników domowych. Zmiany te oznaczają, że certyfikaty wydawane zgodnie z nowymi zasadami są – delikatnie mówiąc – bezużyteczne w kwestii oceny i wyboru produktu antywirusowego.
Tak, zgadza się. Oficjalnie deklaruję, że certyfikaty AV-TEST przyznawane produktom antywirusowym dla użytkowników domowych nie pozwalają już na rzetelne porównanie jakości. Innymi słowy, stanowczo nie zalecam korzystania z certyfikatów AV-TEST podczas dokonywania wyboru produktu bezpieczeństwa dla komputerów domowych. Jeżeli dwa produkty posiadają ten sam certyfikat, logicznym wnioskiem jest, że oferują one jednakową (lub niemal jednakową) jakość i wydajność. Przy zastosowaniu nowego standardu certyfikacji AV-TEST, obowiązek porównywania produktów spada na użytkownika – musi on szczegółowo studiować wyniki poszczególnych testów. I może się okazać, że produkt, który wykrył 99,9% ataków posiada taki sam certyfikat, jak rozwiązanie, które zablokowało tylko 55% zagrożeń.
Przyjrzyjmy się teraz bliżej temu, co się stało, i dlaczego tak się stało.
Wzór na idealny produkt antywirusowy został wymyślony już dawno temu. Wygląda on mniej więcej tak:
1. 100% procent ochrony i 0% fałszywych alarmów.
2. Zerowy wpływ na zasoby systemowe.
3. Brak jakichkolwiek pytań zadawanych użytkownikowi.
4. (Dodatkowo – jeżeli chcemy jeszcze głębiej wejść w świat fantastyki – wszystko to powinno być dostępne całkowicie za darmo.)
Oczywistym jest, że ten ideał jest nieosiągalny, ale spróbujmy zbliżyć ten wzór do obowiązujących realiów:
Rozwiązanie antywirusowe powinno łapać tak dużo szkodliwych programów, jak tylko się da, a gdy coś pójdzie nie tak, musi potrafić wyleczyć infekcję (możliwość instalacji ochrony na zainfekowanym komputerze także jest bardzo istotna).
Ryzyko wystąpienia fałszywych alarmów powinno być minimalne, a gdy już się pojawią, producent powinien je jak najszybciej wyeliminować.
Prace związane z optymalizacją wykorzystania zasobów systemowych (pamięci, procesora, rozmiaru aktualizacji) powinny trwać nieustannie. Oczywiście, optymalizacja ta nie powinna w żadnym stopniu obniżać jakości ochrony.
Wszystko to brzmi dość prosto – mogłoby się wydawać, że jest to wręcz oczywiste. Co jednak robi użytkownik, który patrzy na dziesiątki produktów antywirusowych? Który jest lepszy i dlaczego? Kto jest w stanie ocenić te produkty i zbadać, jak bliskie są ideałowi? (A musimy pamiętać, że każdy producent przekonuje o wyższości swojego rozwiązania nad konkurencją.)
Komu zatem ufać i kto powie nam prawdę na ten temat? Wiadomo – niezależne laboratoria testowe. Łącznie z AV-TEST.
Kilka lat temu zespół AV-TEST stworzył bardzo dobrą metodę testowania produktów i równie skuteczny system certyfikacji. Produkty były testowanie z uwzględnieniem trzech kryteriów: OCHORNY (zapobieganie infekcjom), LECZENIA oraz UŻYTECZNOŚCI (łatwość użytkowania, wydajność oraz liczba fałszywych alarmów). Produkt otrzymywał certyfikat, jeżeli łącznie zgromadził odpowiednią liczbę punktów. Jako firma, zawsze wspieraliśmy ten system i traktowaliśmy go jako wzór wśród najlepszych organizacji przeprowadzających testy porównawcze.
Zatem, jaka metamorfoza miała miejsce w laboratorium AV-TEST? Dlaczego nie ufam już ich systemowi certyfikacji?
Przede wszystkim zmieniły się kryteria, na podstawie których przyznawane są certyfikaty. Wykluczono bardzo ważny czynnik – LECZENIE. Cóż, jaki jest sens istnienia produktu antywirusowego, który potrafi wykryć infekcję w systemie, ale nie może jej wyleczyć? (Wyobraźcie sobie wizytę u dentysty, który mówi: „Tak, ma pan ubytek w zębie, ale niestety nic z tym nie zrobimy – nie potrafimy leczyć zębów!”) Niedawno dowiedzieliśmy się, że aktywne infekcje występują na około 5% komputerów chronionych przez rozwiązania antywirusowe! To co dwudziesty komputer na świecie! Innymi słowy, umiejętność leczenia aktywnych infekcji jest kluczowa dla milionów użytkowników.
Wprawdzie AV-TEST zobowiązał się do stworzenia oddzielnego, bardziej progresywnego testu LECZENIA, jednak kategoria ta nie będzie już miała wpływu na program certyfikacji i – co najważniejsze – będzie opcjonalna! Jeżeli producent ma wątpliwości co do jakości swojej technologii leczenia, może wycofać się z tego testu bez konsekwencji. Dobra wiadomość jest taka, że obserwując, którzy producenci rezygnują z udziału w teście leczenia, będziemy mogli wyrobić sobie opinię o jakości ich rozwiązań.
Po drugie, obniżony został próg przyznania certyfikatu – teraz wystarczy zdobyć 10 na 18 dostępnych punktów, by uzyskać to „wyróżnienie”.
Po trzecie, UŻYTECZNOŚĆ odnosi się obecnie wyłącznie do fałszywych alarmów. A przecież istnieje ogromna różnica między takim podejściem do użyteczności a użytecznością obejmującą wydajność produktu antywirusowego i jego wpływ na obciążenie systemu. Patrząc na skalę zmian, które AV-TEST wprowadził w swojej metodologii, fałszywe alarmy mogły po prostu trafić do kategorii OCHRONA i zostać wykorzystane jako przeciwwaga – dokładnie tak robi większość laboratoriów testowych.
Jakie są konsekwencje tej nagłej zmiany w procesie certyfikacji AV-TEST?
Przede wszystkim, certyfikacja znacznie straci na wartości. Liczba uczestników testów zwiększy się – niektórzy producenci świadomie nie brali w nich udziału, ponieważ wiedzieli, że oferowany przez nich poziom ochrony nie daje szans na certyfikat. Teraz prawie wszyscy mogą otrzymać certyfikat AV-TEST. Bez wyróżnienia zostaną tylko najsłabsi.
Co więcej, próg certyfikacji jest teraz tak niski, że nawet całkiem podstawowy program antywirusowy ma szansę uzyskania wyróżnienia od AV-TEST. Bo przecież po co szukać nowych szkodliwych programów, skoro wystarczy monitorować publiczne multiskanery online, takie jak VirusTotal? Nie trzeba także niczego analizować – wystarczy skonfigurować multiskaner i „wykrywać” to, co wykryli już inni, korzystając dodatkowo z sum MD5, aby uniknąć fałszywych alarmów. Teraz wystarczy tylko zaprojektować interfejs, dodać jakiś moduł aktualizacji, dorzucić kilka funkcji, które dadzą złudzenie ciągłej ochrony, umieścić ikonę w zasobniku systemowym, opakować to wszystko w pakiet instalacyjny, wysłać do laboratorium AV-TEST i czekać na swój certyfikat!
Można powiedzieć, że równowaga między oceną technologii bezpieczeństwa i „użyteczności” została utracona. Wyniki poszczególnych testów w dalszym ciągu są wartościowe i z pewnością będą bacznie śledzone przez wnikliwych użytkowników.
Jednak, obniżony poziom certyfikacji AV-TEST sprawia, niestety, że certyfikacja ta jest prawie bezużyteczna dla typowego użytkownika, który próbuje podjąć świadomą decyzję związaną z wyborem produktu do ochrony swojego komputera domowego.
Pozostaje teraz zastanowić się, dlaczego laboratorium AV-TEST podjęło taką decyzję? Dlaczego świadomie pogarszają sytuację dla siebie i dla innych?
Mało wiadomo na temat oficjalnych powodów (ludzie z AV-TEST praktyczne nie skomentowali tych zmian), jednak możemy posnuć trochę domysłów. Na początku musimy spojrzeć na ekonomię biznesu testowania.
Tak, testowanie to biznes z własną ekonomią. Doskonale to rozumiem. Wykonanie dobrego testu to nie tylko kwestia wiedzy – niezbędne są także inwestycje w infrastrukturę, przestrzeń biurowa i pracownicy, którym trzeba płacić. I tak jak w każdym innym biznesie, mamy do czynienia ze ścisłym związkiem między jakością i zyskiem. Czasem firmy świadomie obniżają jakość, by więcej zyskać. Przy krótkowzrocznym podejściu może się to opłacać. Jednak, patrząc długoterminowo – prowadzi to do degradacji marki i nieuchronnego upadku.
Czy mamy do czynienia właśnie z tym motywem działań? Najtrudniejszy test – leczenie zainfekowanego systemu – został usunięty z „listy obowiązkowej”. Teraz wystarczy przetestować wykrywalność produktów przy użyciu kolekcji szkodliwych programów oraz czystych plików i … voila!
Nowa procedura sprawia, że proces testowania jest tańszy. Dodatkowo, do AV-TEST z pewnością zawitają nowi klienci, którzy wcześniej nie mieli szans na certyfikat, a teraz chętnie „wywieszą medale” na swoich stronach internetowych i pudełkach. Niestety, laboratorium testowe straci w ten sposób wiarygodność i zaufanie producentów, którzy rozwijają własne technologie, a przecież właśnie dzięki pracy takich firm rozwija się cała branża. Także bardziej świadomi użytkownicy nie będą brali pod uwagę takich certyfikatów.
Zdecydowanie nie potępiam chęci zarabiania większej ilości pieniędzy. Przy zachowaniu odpowiednich priorytetów jest to wyznacznik sukcesu firmy i jakości jej produktów czy usług. Poza tym wiadomo – im więcej firma zarabia, tym więcej może inwestować w rozwój, co przynosi korzyści dla wszystkich. Biznes związany z testowaniem produktów nie jest wyjątkiem. Wiele firm z tej branży stara wyróżnić się na tle konkurencji i odkrywa nowe nisze (AV-TEST także był tego przykładem), kopiąc nie tylko głębiej, ale i szerzej – dążąc do ciągłego rozwoju.
Logicznym pytaniem jest – dlaczego nasze produkty dla użytkowników domowych ciągle biorą udział w systemie certyfikacji AV-TEST?
Po pierwsze, uważamy, że im więcej testów, tym bardziej obiektywna jest ocena produktu. Nie boimy się żadnych ocen. Polegamy na naszych technologiach i jakości ochrony oferowanej przez nasze produkty, a jeżeli mamy jakiekolwiek zastrzeżenia do tego czy innego testu – mówimy o tym otwarcie i publicznie.
Co więcej, AV-TEST oferuje wiele innych użytecznych testów i certyfikatów, łącznie z tymi związanymi z sektorem korporacyjnym i mobilnym. Funkcja leczenia ma znacznie mniejsze znaczenie dla klientów biznesowych niż w przypadku użytkowników domowych. Nawet w niedużych firmach pracuje zazwyczaj osoba pełniąca funkcję administratora (lub informatyka), a do tego regularnie tworzone są kopie zapasowe. Połączenie tych dwóch czynników pozwala odeprzeć infekcję, nawet jeżeli stosowany program antywirusowy tego nie potrafi.
Podsumowując – ode mnie osobiście i w imieniu firmy:
1. Przy obecnej procedurze certyfikacji, NIE ZALECAMY użytkownikom uwzględniania certyfikatów od laboratorium AV-TEST w procesie wyboru produktu antywirusowego do ochrony komputera domowego.
2. Mimo tego uważamy, że warto przyglądać się wynikom uzyskiwanym przez produkty w kategoriach OCHRONA i WYDAJNOŚĆ (niezależnie od certyfikatów) oraz oczywiście w obiecywanym teście LECZENIA.
3. W interesie AV-TEST jest słuchanie opinii ekspertów z branży antywirusowej i stworzenie rzetelnego systemu certyfikacji, który będzie pomagał użytkownikom w podejmowaniu świadomych decyzji związanych z wyborem produktu. Obejmuje to, na przykład, powrót do AMTSO (Anti-Malware Testing Standards Organization) oraz omawianie kluczowych kryteriów z czołowymi producentami i niezależnymi ekspertami z branży.
