Spóźniliśmy się o rok, ale co tam. Niezależni badacze z Iswatlab (i osoby powiązane z Uniwersytetem Sannio we Włoszech) opublikowali swoje badania 57 mobilnych aplikacji antywirusów. Test przewidywał zbadanie skuteczności tych wszystkich programów na zestawie 5560 plików szkodliwego oprogramowania, przy czym w drugiej fazie detekcji kolekcji wirusów, te same próbki malware poddawano lekkiej modyfikacji. Wyniki dla niektórych producentów oprogramowania antywirusowego okazały się katastrofalne.
Aby poddać modyfikacji kolekcję próbek, opracowano autorskie narzędzie napisane w Javie o nazwie “Malware Washing Machine”, które dostępne jest do pobrania tutaj. Modyfikacje złośliwych aplikacji na Androida obejmowały metody:
- Disassembling & Reassembling.
- Repacking.
- Changing package name.
- Identifier Renaming.
- Data Encoding.
- Call indirections.
- Code Reordering.
- Junk Code Insertion.
- Composite Transformations.
Testerzy, aby upewnić się, że wszystkie złośliwe APK przed, jak i po modyfikacji zachowały swoje złośliwe cechy szczególne, weryfikowali bezpieczeństwo kolekcji próbek z wykorzystaniem serwisu VirusTotal.
Poniższa tabela przedstawia ilość wykrytych mobilnych szkodników z 5560 wirusów. Kolumna zaznaczona na czerwono to wykryte szkodliwe oprogramowanie już po modyfikacji. Kolumna środkowa wskazuje na ilość wykrytych plików APK.
Test ten dowodzi jeszcze jedno — większość producentów AV nie radzi sobie z wykrywaniem wirusów na platformie mobilnej Android w oparciu o mechanizmy behawioralne.
My wiemy jedno — wyniki testów zależą przede wszystkim od zastosowanej metodologii oraz próbek. Przykładowo, testowane programy w teście A na zestawie próbek B1 uzyskają inne wyniki w tym samym teście A, ale przy wykorzystaniu zestawu próbek B2. Z kolei stosując ten sam zestaw malware B1 i B2 w teście A, ale już z zastosowaniem innej metodologii uzyskamy jeszcze inne wyniki.
Co to oznacza dla użytkownika końcowego?
A no tylko to, że antywirus X osiągnął bardzo dobre wyniki przy zastosowaniu takiej a nie innej metodologii oraz tego zestawu wirusów.
Więc o tym w tym wszystkim chodzi?
Zawsze to powtarzamy w naszych testach:
Testy AVLab są niezależne i odbywają się w warunkach zbliżonych do rzeczywistości. Nie należy kierować się naszymi wynikami, jako ostateczną decyzją w wyborze aplikacji bezpieczeństwa.
W celu dokonania ostatecznego wyboru, sugerujemy zapoznać się także z testami innych niezależnych laboratoriów, które korzystają z różnych metod i technik testowania oprogramowania. Ponadto, decyzje w wyborze zależą od osobistych preferencji, dostępności niezbędnych funkcji, skuteczności, wykrywalności, wpływu na wydajność systemu, wyglądu interfejsu, ceny, łatwości użytkowania, kompatybilności, języka, wsparcia technicznego i wielu innych cech.
Słowo (lub raczej „zdanie”) klucz to:
W celu dokonania ostatecznego wyboru, sugerujemy zapoznać się także z testami innych niezależnych laboratoriów, które korzystają z różnych metod i technik testowania oprogramowania.
Czyli: analizując wyniki z danego testu dla oprogramowania X, należy mieć na uwadze także inne testy oraz osiągane wyniki przez oprogramowanie X w dłuższej perspektywie czasu.
