Dwa dni temu pisaliśmy o wynikach testu firewalli nowej generacji przeprowadzonego przez amerykański lab NSS Labs. Słabe rezultaty osiągnięte przez produkt Palo Alto Networks PA-3020 nie spodobały się jego producentowi, który chciał wyjasnić całą sytuację. Przetłumaczone wywody Lee Klaricha na temat testu oraz ripostę NSS Labs przedstawiamy poniżej:
NSS Labs: Nie zwykliśmy komentować na naszym blogu wyników wszystkich testów przeprowadzanych w NSS Labs, aczkolwiek po perturbacjach związanych z niedawnym testem rozwiązań BDS (Breach Detection System) doszliśmy do wniosku, że warto zamieścić parę słów komentarza. Tym razem chodzi o wpis na blogu Palo Alto Networks dotyczący wyników naszego grupowego testu firewalli typu NGFW, wyniki którego opublikowaliśmy w minionym tygodniu tutaj.
Lee Klarich bardzo uważnie dobiera słowa w swoim tekście, ale nie zająknął się nawet na temat głównego problemu: firewall produkcji Palo Alto Networks nie wykrył kilku krytycznych zagrożeń, co naraża ich klientów na ryzyko. Wpis ten zawiera szereg poważnych przeinaczeń, które niniejszym chciałbym sprostować.
Twierdzenie Palo Alto Networks – „Palo Alto Networks celowo nie uczestniczyło w badaniu 2014 NSS Next-Generation Firewall Comparative Analysis, którego wyniki opublikowano niedawno. Oznacza to, że w przeciwieństwie do innych producentów uwzględnionych w raporcie, którzy skonfigurowali i dostroili swoje produkty specjalnie pod kątem tego testu, my nie przekazywaliśmy żadnych wytycznych odnośnie konfiguracji naszego urządzenia”.
Odpowiedź NSS – Udział w testach grupowych przeprowadzanych przez NSS nie jest opcjonalny — jeśli dany producent sprzedaje swoje urządzenia w konkretnym segmencie rynku, lub jeśli nasi klienci biznesowi zgłoszą zapotrzebowanie na przetestowanie konkretnych produktów, przeprowadzimy testy takich urządzeń. Napotkanie oporu wobec przeprowadzenia testów produktu ze strony jego producenta zawsze nas martwi — zwykle oznacza to bowiem, że inżynierowie producenta doskonale wiedzą, że z produktem jest coś nie tak. Firma Palo Alto Networks była traktowana tak samo, jak wszyscy inni producenci, których produkty zostały uwzględnione w naszych testach. NSS testuje wszystkie produkty typu NGFW z predefiniowanymi, zalecanymi przez producenta ustawieniami.
Palo Alto Networks – „Decyzję o nieuczestniczeniu w tym teście podjęliśmy wskutek nabrania przekonania, że przyjęty przez NSS model dopuszczający dostrojenie przez producenta swojego urządzenia pod kątem testu przed jego przeprowadzeniem jest nieuczciwe i promuje tych, którzy więcej zapłacą, co prowadzi do zafałszowania wyników i podważa ich obiektywność”.
Odpowiedź NSS – Zarzut nieuczciwości i promowania „tych, którzy więcej zapłacą” jest bardzo mocnym i całkowicie bezpodstawnym oskarżeniem, o czym Palo Alto Networks doskonale wie (tutaj znajdują się oficjalne przeprosiny Palo Alto Networks opublikowane poprzednim razem, gdy firma ta zniesławiła NSS Labs w kontekście przeprowadzanych testów). NSS nie pobiera od producentów żadnych opłat za testowanie ich urządzeń w ramach naszych publicznych testów grupowych. Wszystkie testy są w całości finansowane przez nas. Producentów prosimy jedynie o dostarczenie najwłaściwszego urządzenia oraz, w razie potrzeby, wsparcia inżynierów przed testem oraz w jego trakcie. Jeśli chodzi o zarzut dostrajania urządzeń, to pragniemy zauważyć, że nie pozwalamy producentom na specjalne ustawianie firewalli typu NGFW pod kątem naszego testu. Wszystkie urządzenia są testowane z użyciem predefiniowanych ustawień zalecanych przez producenta — tych samych, które są stosowane we wdrożeniach w przedsiębiorstwach na całym świecie. Zasada ta ma zastosowanie do wszystkich testowanych firewalli typu NGFW. W przypadku tej klasy urządzeń nasze badania wykazują, że większość klientów wdraża je z domyślną (zalecaną) konfiguracją bez żadnych modyfikacji. Dlatego też właśnie w takiej konfiguracji wdrażamy firewalle w naszym środowisku testowym. Pragnę podkreślić to jeszcze raz — nie dopuszczamy żadnego dostrajania.
Palo Alto Networks – „W minionym roku wzięliśmy udział w teście i uzyskaliśmy wynik na poziomie 96,4%”.
Odpowiedź NSS – To prawda. Palo Alto Networks wręcz lubi chwalić nasze testy, jeśli uzyska w nich dobry wynik (tutaj można przekonać się, jak wygląda ich PR, gdy sprawy idą po ich myśli).
Palo Alto Networks – Bardzo poważnie traktujemy skuteczność naszych firewalli typu NGFW. Usiłujemy zrozumieć, w jaki sposób tegoroczny wynik może być tak różny od tego, jaki ta sama technologia uzyskała rok wcześniej”.
Odpowiedź NSS – Nie była to ta sama technologia. Jeśli uważnie przyjrzeć się grafice SVM oraz wynikom testów, dostrzeże się, że rzeczywisty odsetek zablokowanych ataków w roku 2014 nie był istotnie niższy od wyniku z roku 2013 (92,5% wobec 96,4%). Nieco niższy rezultat wynikał z mniejszej skuteczności w blokowaniu najnowszych eksploitów (zwłaszcza tych z lat 2013–2014). Podstawowym problemem była niska skuteczność radzenia sobie z próbami uniknięcia wykrycia. Podczas gdy wersja 4.1.9 systemu PAN-OS sprawowała się na tym polu całkiem dobrze, wersja 6.0.3 testowana w roku 2014 wykazała podatność na wiele technik unikania wykrycia, co zaowocowało ogólną niską skutecznością zabezpieczeń (60,1%).
Palo Alto Networks – Problemy, na które firma NSS zwróciła uwagę, nie zostały nigdy zaobserwowane w innych testach — ani tych przeprowadzonych wewnętrznie, ani tych przeprowadzonych w ponad 19 000 przedsiębiorstw z całego świata, które korzystają z naszych rozwiązań.
Odpowiedź NSS – Dlatego właśnie tak ważne są niezależne testy. Jeśli nie wie się, jak przeprowadzić dokładne testy pod kątem unikania wykrycia, nigdy nie uzyska się wyników uzyskanych przez inżynierów NSS. Klient wykorzystujący w swojej sieci taki produkt nie dostrzeże nic niepokojącego do czasu odebrania telefonu od organów ścigania z informacją o stwierdzeniu wycieku danych. Techniki unikania wykrycia z samej swojej definicji umożliwiają atakującemu uniknąć wykrycia przez firewall typu NGFW, co oznacza, że w logach nie będzie najmniejszego śladu tego ataku.
Palo Alto Networks – „Warto również zauważyć, że ich zdaniem w tym okresie zaktualizowaliśmy nasz system operacyjny i zepsuliśmy technologię. To twierdzenie jest bezpodstawne…”.
Odpowiedź NSS – W 2013 r. testowaliśmy urządzenie z systemem PAN-OS 4.1.9. W 2014 r. zaś testowaliśmy urządzenie z systemem PAN-OS 6.0.3. Numeracja wskazuje, że na przestrzeni roku dwukrotnie wprowadzano wiele zmian (zasługujących na zmianę głównego numeru wersji). Można więc racjonalnie założyć, że wprowadzono pewne błędy, które przyczyniły się do kiepskiego wyniku urządzenia w naszych testach dotyczących unikania wykrycia. Innym wytłumaczeniem mogłoby być tylko celowe wyłączenie przez Palo Alto Networks części zabezpieczeń w celu poprawienia wydajności urządzenia.
NSS Labs: Jak można się spodziewać w przypadku testów tego rodzaju, firma Palo Alto Networks nie była jedyną, której produkt uzyskał wyniki poniżej średniej. Różnica polega na tym, że inni producenci nie zdecydowali się na publiczne zaatakowanie NSS. Zamiast tego skoncentrowali się na zaradzeniu problemom wykrytym w naszych testach i wkrótce powinni przesłać zmodyfikowane produkty do ponownych publicznych testów. Chcieliśmy w tym miejscu pochwalić firmę Cyberoam za takie odpowiedzialne podejście.
Ponieważ firma Palo Alto Networks, zamiast uzupełnić braki swojego produktu, zdecydowała się na rozpoczęcie ofensywy PR-owej, zdecydowaliśmy się nieodpłatnie udostępnić stosowne informacje wszystkim zainteresowanym. W ten sposób klienci tej firmy będą mogli choć podjąć próbę poprawienia jakości zabezpieczeń oferowanych przez urządzenia działające pod kontrolą systemu PAN-OS w oczekiwaniu na dzień, w którym firma Palo Alto Networks zdecyduje się potraktować tę kwestię poważnie. Poniżej prezentujemy najważniejsze wyniki i wnioski:
1) Wszystkie urządzenia działające pod kontrolą systemu PAN-OS wymagają zmiany konfiguracji, aby poradzić sobie z nawet najbardziej podstawowymi technikami unikania wykrycia wykorzystującymi segmentację strumienia ruchu TCP. Zabezpieczenie o nazwie „Mismatched overlapping TCP segment” w profilu „Zone Protection” nie jest domyślnie włączone, wskutek czego atakujący mogą całkowicie ominąć urządzenie korzystając ze wspomnianej techniki. NSS zdecydowanie zaleca włączenie tej opcji w przypadku każdego wdrożenia. Wszyscy klienci firmy PAN niekorzystający z tej opcji są narażeni na bardzo duże ryzyko.
2) Żadne urządzenie działające pod kontrolą systemu PAN-OS nie wykryje ataków wykorzystujących technikę TCP Split Handshake Spoofing, jeśli nie zostanie włączona ochrona przed zalewem pakietów SYN (SYN flood), nie zostanie wybrane zastosowanie plików cookie SYN jako działanie ochronne i nie zostanie przekroczony próg liczby napływających pakietów SYN. W wielu rzeczywistych wdrożeniach może nie być to wykonalne, co powoduje podatność urządzenia na inną możliwą metodę unikania wykrycia.
Należy zauważyć, że zgodnie z metodyką testowania firewalli typu NGFW urządzenie powinno zostać wdrożone wyłącznie z ustawieniami ustawionymi wstępnie przez producenta (tj. w domyślnej konfiguracji, bez żadnych modyfikacji przy instalowaniu produktu). Zdecydowaliśmy się jednak na włączenie powyżej opisanych ustawień w celu zminimalizowania negatywnego wpływu domyślnej konfiguracji produktu firmy Palo Alto Networks na jego wyniki w naszym teście. Postąpiliśmy tak, aby zapewnić jak największą uczciwość i transparentność naszych działań, ponieważ sam producent odmówił współpracy z nami przy okazji tego testu i nie przekazał żadnych instrukcji dotyczących konfiguracji swojego urządzenia.
Uwaga: ponieważ powyżej opisane podatności można zmniejszyć poprzez odpowiednią zmianę konfiguracji, nie zostały one zaliczone jako brak wykrycia ataku przez produkt firmy Palo Alto Networks i nie miały wpływu na przyznanie temu urządzeniu oceny Caution (ostrzeżenie). Ocena ta wynika z powodu podatności urządzeń działających pod kontrolą systemu PAN-OS 6.0.3 na inne, bardzo groźne techniki zapobiegania wykryciu, których nie możemy publicznie opisać, ponieważ spowodowałoby to narażenie klientów firmy Palo Alto Networks na poważne ryzyko (obecnie nie są jeszcze znane żadne sposoby załatania tych luk w zabezpieczeniach). Wykryte problemy mogą również dotyczyć innych wersji tego systemu operacyjnego opublikowanych po ostatniej dobrej wersji przetestowanej przez NSS, tj. 4.1.9.
Wszyscy klienci NSS mają pełny dostęp do szczegółowych informacji na temat wyników testów i mogą omówić je osobiście z naszymi analitykami i inżynierami w ramach wykupionego abonamentu.
Aby pomóc klientom firmy Palo Alto Networks, którzy są narażeni na bardzo poważne ryzyko, udostępniamy im te informacje bez żadnych opłat. Każdy klient tej firmy może kliknąć tutaj, aby otrzymać pełny raport „Palo Alto Networks PA-3020 v6.0.3 Product Analysis Report”.
W międzyczasie mamy szczerą nadzieję, że zarząd firmy Palo Alto Networks zacznie traktować wykryte przez nas problemy poważnie i podejmie szybkie starania w celu poprawienia bezpieczeństwa swoich klientów. Firma NSS jest zawsze gotowa współpracować z każdym producentem w celu udzielenia pomocy w rozwiązaniu wykrytych problemów i lepszego zabezpieczenia sieci na całym świecie. Ponadto jeśli (kiedy) firma Palo Alto Networks naprawi swój produkt, przetestujemy go ponownie w celu zweryfikowania skuteczności poprawek i niezwłocznie udostępnimy wyniki tych ponownych testów. Do tego czasu z chęcią będziemy współpracować z klientami firmy Palo Alto Networks w celu zminimalizowania ryzyka, na które są narażeni (na tyle, na ile będzie to możliwe przy uwzględnieniu aktualnych ograniczeń).
