Procedura testów porównawczych to bardzo złożone zagadnienie. Na początku trzeba zaplanować metodologię, następnie zebrać szkodliwe oprogramowanie i upewnić się, że każdy wirus jest w stanie faktycznie zainfekować system operacyjny. Potem należy umożliwić wszystkim testowanym rozwiązaniom udział w badaniu w tym samym czasie, najlepiej jednocześnie, i opracować narzędzia, które pozwolą zebrać szczegółowe logi. Jeszcze na początku naszej działalności, tj. w 2012 roku, nie zdawaliśmy sobie sprawy, że przy testach jest aż tyle pracy. Tyle zmiennych, które wcześniej trzeba przewidzieć. Po 6 latach w tej branży mamy na tyle doświadczenia, że wiemy, jak to wszystko działa od środka, dlatego potrafimy skonfrontować uczciwych dostawców z tymi, którzy unikają testów lub wymuszają na organizacji testującej dobranie metodologii badania.
Właśnie w takiej sytuacji znalazło się amerykańskie NSS Labs — światowy lider w przeprowadzaniu niezależnych testów firewalli nowej generacji.
Jak czytamy na blogu NSS Labs, w dniu 19 września 2018 roku Vikram Phatak, dyrektor generalny NSS Labs, złożył w sądzie pozew antymonopolowy (oficjalny wniosek) przeciwko firmom CrowdStrike, Symantec, ESET oraz tak zwanej organizacji Anti-Malware Testing Standards Organization (AMTSO), której zadaniem jest opracowanie międzynarodowych schematów przeprowadzania testów.
Dla utrwalenia zapisujemy zrzut ekranu strony internetowej z komentarzem dyrektora generalnego NSS Labs.
Poniższy akapit jest luźnym tłumaczeniem informacji zawartych na blogu NSS Labs.
AMTSO, ESET, Symantec i Crowdstrike w sądzie
NSS Labs złożyło pozew przeciwko CrowdStrike, Symantec i ESET, ponieważ firmy te nie tylko ograniczały dostęp do testowania produktów, ale nawet mogło dojść do spisku kilku dostawców, którzy ukrywali wady swoich rozwiązań przed konsumentami, nie pozwalając na niezależne testy.
Kiedy klient nieświadomie wybiera rozwiązanie bezpieczeństwa, które zawiera ukryte wady, może narazić się na poważne straty finansowe i wynikające z tego bezpieczeństwo fizyczne. Złożony pozew jest odpowiedzią na działanie niektórych producentów, którzy nie wywiązywali się z obowiązku ochrony konsumentów. Narażenie użytkownika na zagrożenia cybernetyczne jest w dobie współczesnych cyberataków bardziej niebezpieczne niż kiedykolwiek wcześniej.
NSS Labs często odkrywa niedoskonałości w produktach antywirusowych, ale także w sprzęcie fizycznym. Jak można się łatwo domyślić, negatywne wyniki mogą zaszkodzić wizerunkowi producenta oraz wpłynąć bezpośrednio na sprzedaż. Co więc robią producenci? Większość dostawców, wiedząc o słabych stronach swojego oprogramowania, próbuje je naprawić i współpracuje z niezależnymi ekspertami oraz organizacjami testującymi — dla wspólnego dobra każdej ze stron. Niestety niektórzy z nich unikają testów, co szkodzi przede wszystkim klientom końcowym. Jednakże, jeśli grupa producentów zgadza się na bojkotowanie niezależnego laboratorium testowego, a każdy z tych producentów uniknie publicznej krytyki za słaby jakościowo produkt, to chyba już wiecie dokąd to zmierza…
Działania firm wymienionych zostały wzmocnione uczestnictwem w organizacji AMTSO, której celem jest ustanowienie standardów „sprawiedliwego testowania”. Niestety metodologia AMTSO nie jest neutralna, ponieważ zapobiega niezależnym i autorskim testom. Co więcej, niektórzy producenci otwarcie bojkotują te laboratoria testujące, które nie spełniają standardów AMTSO — przyczyniają się do blokowania niezależnych testów, które są przeprowadzane w oparciu o inną metodologię niż ta, na którą producenci nie są przygotowani. Ponadto pewni dostawcy, jak na przykład Crowdstrike, podjęli działania mające na celu zapobieżenie weryfikowaniu bezpieczeństwa swoich produktów poprzez umieszczanie klauzul w umowach licencyjnych (EULA). Umowy te pozwalają na testowanie wyłącznie za zgodą producenta. NSS Labs twierdzi, że to nieetyczne zachowanie, które ogranicza przejrzystość i ukrywa wady produktu, o których klient końcowy nigdy się nie dowie.
Komentarz AVLab
W komentarzach pod testami, które przeprowadzamy, często pojawiają się pytania, dlaczego produkt X lub Y nie został przetestowany. Otóż tak naprawdę z kilku powodów, które zawsze są takie same:
Po pierwsze producent może nie wyrazić zgody na testy. Bo nie i już. Odmowa nie zawsze jest uwarunkowana ograniczonym budżetem na takie działa. Przede wszystkim to od nas zależy jakie produkty dobieramy do testów — głównie kierujemy się popularnością rozwiązań w naszym kraju. Nie możemy przetestować wszystkim rozwiązań dostępnych w danym momencie, ponieważ ograniczają nas zasoby serwera dedykowanego, który na raz może obsłużyć około 20-30 uruchomionych stacji roboczych.
Po drugie przyłączamy się do krytyki NSS Labs, argumentując to w następujący sposób:
Najmniej istotnym argumentem jest fakt, że przyłączenie się do organizacji AMTSO nie jest bezpłatne dla firm testujących. Opłata w wysokości 3000 dolarów jest do zaakceptowania, pod warunkiem, że obie strony na tym skorzystają. My takich korzyści nie dostrzegamy, które mogłyby bezpośrednio przełożyć się na niezależne i autorskie testy.
Niektórzy producenci nie zgadzają się na udział w testach i to nie względu na opłatę, którą traktujemy jako wynagrodzenie za pracę, koszty utrzymania serwera i programowania narzędzi testujących, ale właśnie ze względu na metodologię, która nie będzie faworyzowała ich produktu. W naszej opinii organizacja AMTSO i kilku producentów, których nie wymienimy z nazwy, to kółko wzajemnej adoracji, które uważa, że wspólnie wypracowało „międzynarodowe standardy” przeprowadzania testów.
Jeżeli interesujecie się testami i znacie laboratoria takie jak AV-Comparatives i AV-Test, to musicie wiedzieć, że AMTSO w swoich standardach wymusza stosowanie próbek szkodliwego oprogramowania, które wcześniej zostały skompletowane w bazie pod nazwą Real Time Threat List (RTTL). W tym przypadku dostawcami malware są niezależni eksperci i członkowie AMTSO, przeciwko którym nic nie mamy — ale co bardzo istotne — w bazie wirusów RTTL znajdują się też próbki, które zostały dostarczone przez samych dostawców rozwiązań zabezpieczających. Producenci w ramach partnerskich umów lub licencji na technologie zabezpieczające wymieniają się pomiędzy sobą bazami wirusów, dlatego weryfikowanie bezpieczeństwa na podstawie znanych próbek szkodliwego oprogramowania nie ma najmniejszego sensu.
Analogicznie przełóżmy to na wyścigi samochodów Formuły 1. Organizacja AMTSO jest szefem Formuły 1 i w swoim kalendarzu posiada jeden belgijski tor Circuit de Spa-Francorchamps. Z kolei kierowcami są producenci rozwiązań ochronnych. Z oczywistych powodów część kierowców w całej stawce będzie faworyzowała superszybkie zakręty i długie proste, a inni będą osiągać lepsze czasy okrążenia na wolniejszych i krętych torach. Organizacja AMTSO w swoich Mistrzostwach Świata Formuły 1 posiada tylko jeden tor wyścigowy. Niektórym kierowcom to nie przeszkadza, ponieważ chcą się ścigać tylko w Belgii, ale przy okazji zakazują testów na innych torach.
Na koniec chcemy podziękować wszystkim tym producentom, którzy należą do organizacji AMTSO, ale mimo wszystko chętnie biorą udział w nieszablonowych badaniach, które sprawdzają nietypowe wektory ataków.
Poniższe testy nie byłyby niemożliwe do przeprowadzenia, gdybyśmy byli blokowani przez metodologię AMTSO:
