Bez względu na to czy masz pojęcie o programach antywirusowych, bezpieczeństwie w Internecie, a może jesteś resellerem, dystrybutorem lub administratorem działu IT, na pewno czytałeś lub słyszałeś o laboratorium antywirusowym AV-Comparatives. Ale czy wiesz z jakiego kraju wywodzi się ta organizacja? Czy znasz jej historię? Czy wiesz, że gdyby nie pewnien wirus komputerowy, AV-C zapewne nigdy nie zostałoby powołane do życia? I w końcu, czy masz pojęcie o metodyce testów? W tym artykule znajdziesz odpowiedzi.
Znana na całym świecie organizacja non-profit AV-Comparatives wywodząca się z Innsbrucku w Austrii, przeprowadza kilkanaście razy w roku szereg testów antywirusowych na różnych płaszczyznach. Sprawdzane jest oprogramowanie zabezpieczające pod różnym kątem: wykrywalności, fałszywych alarmów czy interakcji z użytkownikiem, a także programy antywirusowe na system Mac oraz mobilne antywirusy.
AV-C przy użyciu jednej z największych kolekcji próbek na całym świecie, odwzorowuje środowisko testowe dla świata rzeczywistego. AV-C oferuje swobodny dostęp do wyników dla osób, organizacji i instytucji naukowych. Przyznane certyfikaty zapewniają aprobatę dla producentów, którzy są uznawani i cenieni. Jeśli chodzi o ocenę zdolności ochrony rzeczywistej oprogramowania antywirusowego, testy dynamiczne (odwzorowujące rzeczywistość) AV-Comparatives są chyba najbardziej kompleksowymi i złożonymi testami na świecie. Mówiąc wprost, w ramach przeprowadzanych badań powielany jest scenariusz codziennego użytkownika w środowisku online, który w jakimś stopniu odzwierciedla typowe sytuacje podczas korzystania z komputera z dostępem do Internetu.
W przeszłości
Wszystko zaczęło się od wirusa. W 1993 r. komputer Andreasa Clementi został zainfekowany wirusem komputerowym o nomenklaturze November 17 virus – NOV_17.855 (należy pamiętać, iż wtedy oprogramowanie antywirusowe dopiero raczkowało a jedyna metoda wykrywania zagrożeń bazowała na sygnaturach).
November 17 virus – NOV_17.855 w owym czasie był prawdopodobnie jednym z najczęsciej występujących wirusów we Włoszech. Po raz pierwszy został opisany w biuletynach A-20, A-27, A-29 i B-35 przez organizację Computer Incident Advisory Capability (CIAC) należącą do Departamentu Energii Stanów Zjednoczonych (United States Departament of Energy) w 1989 roku. Dopiero w 1992 roku dodano leczniczą sygnaturę do programów antywirusowych m.in takich jak ViruScan, F-Prot, Sweep, AVTK, VAlert, PCScan, i wiele innych.
Wirus przyjął przydomek November 17, ponieważ miał uaktywniać się dokładnie 17 listopada każdego roku, zmieniać atrybuty i infekować dowolne pliki COM i EXE podczas ich wykonywania. Pliki COM o wadze przekraczającej 60 000 bajtów nie były zarażane. Człon .855 wziął się od ilości dodawanego złośliwego kodu (855 bajtów) do rozszerzeń plików COM i EXE. Zainfekowane programy EXE zazwyczaj zawieszały system a zarażone pliki COM często działały prawidłowo.
Istniało co najmniej kilka wariantów tego zagrożenia a wszystkie działały podobnie. Różniły się przeważnie ilością dodawanego kodu: Nov 17.522, Nov 17-768, Nov 17.800.C, Nov 17-880, Nov 17.900.B, Nov 17.900.C, Nov 17.1061, Nov 17th-B i inne.
CIAC apelował wtedy, że jedyną ochroną przed wirusem November 17 jest przywrócene plików z kopii zapasowej.
Początki AV-Comparatives
Infekcja komputera Andreasa tylko wzbudziła jego zainteresowanie tematem. Testów programów antywirusowych w czasopismach komputerowych było wtedy jak na lekarstwo. Tak więc, Andreas zaczął interesować się wirusami i programami zabezpieczającymi. Jego pasja trwa do dziś.
Na początku AV-Comparatives było tylko projektem studenckim, który założył sam Andreas na Universytecie w Insbruku. Aby przekonać się czym tak naprawdę różnią się od siebie programy antywirusowe w rzeczywistości, zaczął je testować wyłącznie pod kątem technicznym. Później poznał Petera Stelzhammer’a, również studenta tego samego Uniwersytetu i razem zaczęli publikować wyniki swoich testów.
Z biegiem czasu zainteresowanie producentów ciągle rosło. Każdy vendor, gdy tylko dowiedział się, że ktoś testuje oprogramowanie antywirusowe chciał natychmiast wziąć w nich udział. Obecnie mamy całą masą programów zabezpieczających, nie sposób wszystich przetestować, więc tylko najlepsze są akceptowane przez AV-C.
AV-C dzisiaj
Obecnie AV-Comparatives współpracuje z kilkoma instytucjami naukowymi, zwłaszcza z Uniwersytetem w Innsbrucku, gdzie obmyślane są i dostarczanie innowacyjne metody badawcze antywirusów, a także z Information Technology Group należącą do Standortagentur Tirol oraz z regionalną agencją rządową. Współpraca polega na wymianie pomysłów i doświadczeń.
Jednym z ważniejszych partnerów AV-C jest Kompetenzzentrum IT, który odpowiedzialny jest za wspieranie działań, promowanie oraz wykorzystywanie wyników badań w celu doradztwa handlowego z firmami.
Testy odbywają się w budynku Berufsschule für EDV‐Technik am Lohbachufer (coś na wzór działu technicznego w szkole wyższej).
AV-C działa jako organizacja non-profit, zarobione pieniądze nie idą do kieszeni pracowników, lecz są inwestowane w rozwój metod, technologii i zakup sprzętu.
Metodyka testów
Metodyka AV-C (nie mylić z metodologią) została opracowana razem z Uniwersytetem w Innsbrucku. Automatyczna procedura systematycznego testowania oprogramowania antywirusowego odwzorowuje działania użytkownika podczas surfowania w Internecie bez udziału człowieka. Biorąc pod uwagę sporą liczbę złosliwego oprogramowania, które pojawia się każdego dnia, wykonywanie tych testów „ręcznie” na statystycznie dużej ilości próbek byłoby wręcz niemożliwe.
Dużą rolę w automatycznym systemie do testowania odegrała firma Tirol Information Technology Group, która doprowadziła do wspólnego projektu wraz z placówką informatyki na Uniwersytecie w Innsbrucku w celu opracowania nowych procedur badawczych. W ramach studiów magisterskich sponsorowanych przez FFG (Society for the Furthering of Research) opracowano zautomatyzowany proces testowania.
Pracownicy
- najważniejszy personel AV-C to około 10 stałych pracowników zatrudnionych na cały etat w mieście Insbruck*, Graz* (*Austria) i Oxford (Anglia) ,
- około 20 wolontariuszy i pracowników w niepełnym wymiarze godzin rozsianych po całym świecie
Data Center
- metraż wynosi 75 m²,
- klimatyzacja,
- ochrona przeciwpożarowa,
- system identyfikacji przepustek,
- 24 godzinna telewizja przemysłowa CCTV służąca do nadzoru oraz zwiększenia bezpieczeństwa pomieszczeń, w obrębie których zostały zainstalowane kamery,
- cała infrastruktura to około 300TB pamięci dyskowej, 600 GB ramu, 12km skrętki ethernetowej kategorii CAT7 oraz 300 komputerów.
Zasoby technologiczne
- 60 honeypotów rozsianych po całym świecie, w tym w Chinach oraz na Tajwanie w ramach kooperacji z ośrodkami akademickimi i przedstawicielami firm
- około 60 PC do dynamicznych testów
- około 40 PC do testów detekcji (testy skanowania na żądanie oraz retrospektywne – testy retrospektywne polegają na testowaniu produktów z niekatualnymi silnikami AV i bazami sygnatur przy użyciu aktualnych próbek, bazują na testach statycznych)
- 4 stacje robocze do testów wydajnościowych
- 3 urządzenia NAS, każde z nich rozproszone geograficznie oraz dublowane
- 2 serwery IBM Blade, łącznie 28 kaset do sprawdzania i sortowania próbek przychodzących
- około 80 serwerów do testów korporacyjnych wersji AV
- ponad 20 komputerów i laptopów dla całej załogi wolontariatu
Komunikacja
- 3 połączenia internetowe, w tym jeden światłowód jako kręgosłup sieci
- 72 dynamiczne adresy IP, 16 statyczne
- przepustowość synchroniczna na poziomie 100Mbps
Materiał badawczy
Metodologia AV-C to 26 stron dokumentu, dlatego ograniczymy się tym razem tylko do jednej z ważniejszej kwestii – pochodzenia próbek do testów.
AV-C posiada co najmniej kilka źródeł, które są opisane w metodologii. Jednym z nich są honeypoty do wyszukiwania i kolekcjonowania wirusów, downloadery malware oraz zainfekowane strony www. Jednak przeważnie próbki do testów dostarczane są od współpracujących firm z branży naprawy komputerów, czyszczenia systemów z wirusów, etc. Próbki pochodzą też od serwisów z automatycznymi skanerami online (serwisy mniejsze i większe), oraz od użytkowników, którzy sami przesyłaja sample. Swój udział w kolekcjonowaniu wirusów mają fora internetowe trudniące się bezpieczeństwem, projekty honeypot, inne prywatne inicjatywy, a także organizacje kolekcjonujące malware. Wtrącając już zupełnie w nawiasie, jedną z takich organizacji jest malwareurl.com Gdyby ktoś chciał prywatnie zaopatrywać się w kolekcję wirusów, może to zrobić za jedyne 10 000$ dolarów rocznie.
Najbardziej kontrowersyjnym źródłem wirusów są sami producenci oprogramowania antywirusowego. Jak twierdzi AV-C, każdy vendor, który dostarcza swoje próbki zachowuje anonimowość. Wspópraca na „poziomie sampli” nie jest obowiązkowa. Zdarzają się sytuacje, że producent, który dostarcza materiał badawczy wypada gorzej w testach niż ten, który go nie dostarcza. Jednakże, jednym z tych powodów jest fakt, że sami producenci wymieniają się próbkami między sobą.
Próbki dostarczone przez producenta trafiają do „zamrażarki” na 2, 3 tygodnie w celu uniknięcia możliwej stronniczości, a te, które dostarczone są w ostatniej chwili przed testem nie są brane pod uwagę.
Ochrona bazy danych malware
Wszystkie bazy danych wirusów są szyfrowane przez PGP. Jedyną osobą, która może odszyfrować pliki jest sam prezes. Jeden z zaszyfrowanych backupów baz danych jest przechowywany w zabezpieczonym budynku w Monachium. Tylko zaufani pracownicy AV-Comparatives mogą uzyskać dostęp do próbek w celu analizy. Pokój, w którym znajdują się stacje robocze do analizy malware jest w pełni zabezpieczony. Znajduje się pod pełną kontrolą wideo, strzegą go systemy alarmowe lokalnej policji oraz systemy do wykrywania ruchu. Ponadto, budynek jest sprawdzany kilka razy dziennie i w nocy, aby uniknąć nieupoważnionego dostępu.
Podsumowanie
W artykule tym przybliżyliśmy metodykę i małą część metodologii AV-Comparatives. Mamy nadzieję, że dzięki tym informacjom spojrzycie szerzej na sposoby testowania programów antywirusowych, na jakość ich wykonywania oraz stopień skomplikowania całej operacji.
Czytając jakiekolwiek testy, należy zapoznać się z metodologią każdego badania, przeczytać ją ze zrozumieniem, wziąć pod uwagę jakie aspekty ochronne są oceniane, a także mieć na uwadze rodzaj złośliwego oprogramowania używanego do testu. Należy też pamiętać, że testy mają zapewnić obiektywną ocenę skuteczności rozwiązań bezpieczeństwa.
Aby uzyskać możliwą obiektywną ocenę programu, należy zapoznać się także z testami różnych niezależnych laboratoriów, które korzystają z różnych metod i technik testowania oprogramowania antywirusowego. Ponadto, decyzje w wyborze zależą od osobistych preferencji, dostępności niezbędnych funkcji, skuteczności, wykrywalności, wpływu na wydajność systemu, wyglądu interfejsu, ceny, łatwości użytkowania, kompatybilności, języka, wsparcia technicznego i wielu innych aspektów.
