AV-Comparatives przy współpracy z MRG-Effitas opracowało testy tzw. firewalli nowej generacji, których pojawienie się na rynku IT determinują następstwa wynikające z postępującej konsumeryzacji IT oraz konieczność zabezpieczenia wszystkich punktów krytycznych infrastruktury sieciowej firmy. Jak tłumaczy w raportcie AV-Comparatives, wielu znanych producentów odmówiło swojego udziału w testach…
W przypadku tego testu — w odróżnieniu od testów NSS Labs oraz Miercom — nie uwzględniano jakości urządzenia w kategorii wpływu na obniżenie przepustowości łącza internetowego. Testerzy z AV-Comparatives oraz MRG-Effitas wspólnie opracowali metodologię, która sprawdzała skuteczność ochrony przed najnowszymi zagrożeniami oraz znanymi exploitami na starsze wersje programów: Adobe Flash Player ActiveX, Microsoft SilverLight 5.1.10411.0, AutoIT 3.3.12.0, Mozilla Firefox 31.0, Microsoft Internet Explorer 11.162.10586, Oracle Java 1.7.0.17, Microsoft Office 2016.
Testowane produkty:
- Barracuda NextGen Firewall VF100 7.0.1
- CrowdStrike Falcon Host 2.0.19.3908
- Palo Alto Traps 3.4.0.15678
- Sentinel One Endpoint Protection Platform 1.6.2.5021
Testy ochrony
RTTL: Do sprawdzenia skuteczności ochrony wykorzystano 500 najbardziej rozpowszechnionych zagrożeń w platformie RTTL dostarczanej przez AMTSO. Organizacji AMTSO (Anti-Malware Testing Standard Organisation) nie trzeba przedstawiać osobom, które mają do czynienia z testami programów antywirusowych. Opracowane dokumenty przez członków tej grupy przy współpracy z ekspertami bezpieczeństwa oraz producentami oprogramowania antywirusowego, pozwalają wszystkim zainteresowanym korzystać z dobrodziejstw ustalonych standardów i przeprowadzać testy rzetelnie oraz profesjonalnie.
AV-Comparatives od pewnego czasu systematycznie korzysta z próbek skolekcjonowanych przez AMTSO w ramach projektu Real-Time Threat List. Ów projekt zawiera repozytorium malware zgromadzone przez ekspertów z całego świata. Z próbek tych mogą skorzystać wszyscy: od labów, po osoby zajmujące się analizą malware, jednak usługa ta nie jest za darmo. Za gotowe narzędzia z dostępem do setek tysięcy próbek należy zapłacić kilka tysięcy euro, co w porównaniu do firm odsprzedających dostęp do swoich repozytoriów malware i tak nie jest wygórowaną ceną.
AVC: W tej kategorii AV-Comparatives wraz z MRG Effitas oceniało skuteczność ochrony na podstawie takich samych kryteriów co powyżej, z tym że próbki do testów pochodziły z bazy danych wirusów zebranych przed AV-Comparatives.
WPDT: Do tej kategorii oceny produktów wykorzystano 50 złośliwych stron internetowych. Na ów złośliwe strony WWW składały się witryny, które możemy zaliczyć do następujących kategorii: infected URL, exploit kit URL, redirection URL, malware URL. Co więcej, produkty musiały poradzić sobie z analizą szkodliwego kodu w plikach HTML, w tym ramek Java Script, zobfuskowanego kodu JS, zablokować exploity przed wykonaniem shellcode (np. po pobraniu payloadu, ale przed jego wykonaniem).
FPs: W kontekście jakości ochrony ważna jest nie tylko skuteczność, ale także niska podatność na generowanie fałszywych alarmów. Aby to sprawdzić, testerzy wykorzystali 1000 bezpiecznych plików, które były uruchamiane w testowych systemach operacyjnych. Oczywiście badano ilość zdarzeń blokujących bezpieczne programy.
Najciekawsza część testu dotyczyła użycia 21 exploitów, które zostały dostarczone z użyciem 8 różnych narzędzi typu Explioit Kit (8: Sundown EK, 5: Neutrino EK, 4: Metasploit, 1: Powershell Empire, 1: Metasploit Macro, 1: Locky malspam WSF, 1: nieznany EK).
Uwagi do testu
W zależności od konkretnego producenta:
- rejestrowane są tylko zdarzenia, które pozwalają upewnić się co do próby ataków, jednak nie umożliwiają chronić się przed nimi,
- właściwości ochronne niektórych dostawców rozwiązań klasy NGFW w tym teście są domyślnie wyłączone, więc muszą być odpowiednio skonfigurowane przez administratora (szczegóły na stronie 6. raportu),
- niektórzy producenci nie udostępniają wersji testowej swoich produktów, nawet zakupionie urządzenia stricte do testów (wliczając w to przede wszystkim publikowanie wyników z testów) może skutkować cofnięciem klucza licencyjnego.
