Dlaczego VirusTotal pokazuje wyniki skanowania inne niż w rzeczywistości?

26 października, 2019

Ów artkuł powstał właściwie z dziennikarskiego obowiązku, ponieważ ciągle spotykamy się z opiniami dziennikarzy z portalów teleinformatycznych, którzy na podstawie wyników skanowania z VirusTotal wydają niesprawiedliwe opinie o rozwiązaniach bezpieczeństwa. Trochę niepokoi nas to, że do podobnego sformułowania ośmielają się osoby techniczne, trenerzy bezpieczeństwa, czy przedstawiciele dystrybutorów na pokazach warsztatowych. Dlatego jako niezależne medium w sprawach cyberbezpieczeństwa chcemy wyjaśnić kolegom i koleżankom po fachu, aby wyraźnie zaznaczali z jakiego powodu antywirusy na VirusTotal nie wykrywają złośliwego kod (albo wykrywają, ale w ograniczonym zakresie).  

Więc o co chodzi z VirusTotal? Dlaczego VirusTotal nie nadaje się do wydawania opinii na temat tego „czy i który” antywirus cokolwiek wykrywa?

Oto kilka przykładów z branży informatycznej:

Polski operator telekomunikacyjny i dostawca usług cyberbezpieczeństwa tak rozpisuje się o VirusTotal.Programista pan Bartosz Szewczak w swoje pracy magisterskiej o złośliwym oprogramowaniu. Pani Anna Rymsza z dobreprogramy.pl o VirusTotal. Na technicznym blogu KapitanHack.pl też pokazano wyniki ze skanowania, ale nie opisano dlaczego.

Udowodnimy poniżej, że wynik ze skanowania na VirusTotal nie ma wiele wspólnego z rzeczywistym reagowaniem na uruchamiane zagrożenia w prawdziwym systemie operacyjnym. Podobne doświadczenie przeprowadziliśmy w kwietniu 2019 roku. Przydało się ono do zaprezentowania faktów dotyczących rzetelnego testowania.

Dlaczego VirusTotal nie jest przystosowany do współczesnych standardów bezpieczeństwa?

Przy okazji różnych kampanii ze spamem na wielu technicznych portalach da się przeczytać, że „tylko kilka antywirusów wykrywa zagrożenie”. Zwykle są to „półprawdy”, ponieważ VirusTotal nie powinien być używany do wydawania takich opinii, a jeśli już to ze stosownym komentarzem.  

Publiczne opinie wydawane przez dziennikarzy są niepokojące, ponieważ osoby o wątpliwej wiedzy technicznej mogą dojść do błędnego przekonania, że nie warto inwestować w bezpieczeństwo. Koledzy i koleżanki z branży — czy weźmiecie za to odpowiedzialność?

Na konferencji Check Point Experience 2019 w Łodzi udowodniliśmy, że VirusTotal jest pomocny w analizie złośliwego oprogramowania, ale kompletnie nie nadaje się do przeprowadzania nawet amatorskich testów i wydawania opinii. Proszę zwrócić uwagę na poniższy slajd z prezentacji:

Stworzyliśmy cztery zagrożenia. Trzy z nich nie były wykrywane przez silnik Check Point zastosowany na VirusTotal.

Stworzyliśmy cztery zagrożenia. Trzy z nich nie były wykrywane przez silnik Check Point zastosowany na VirusTotal. W prawdziwym scenariuszu rozwiązanie firmy Check Point wykryło wszystkie zagrożenia. Właściwie dlaczego?

Antywirus na komputerze to nie to samo co silnik w VirusTotal

Zastosowane w VirusTotal silniki antywirusowe działają z linii poleceń. W związku z tym mogą nie mieć dostępu do modułów, które wchodzą w skład prawdziwych pakietów zabezpieczających. Udowadnia to praktyczne podejście do testowania. Na przykład złośliwe oprogramowanie, które będzie zablokowane przez moduł firewall w prawdziwym scenariuszu nie będzie zablokowane przez silnik antywirusowy na VirusTotal.

Jak czytamy w oficjalnym dokumencie VirusTotal —zastosowane silniki antywirusowe są wersjami binarnymi działającymi z linii poleceń. Nie będą zachowywać się dokładnie tak samo jak wersje, które instalujemy na komputerach.

Używane silniki na VirusTotal nie posiadają zapory ogniowej, skanowania w chmurze, piaskownicy, HIPS, DLP, blokowania wirusów skryptowych i innych modułów.

Poniżej cytujemy samych autorów VirusTotal, którzy powtarzają to od lat:

W VirusTotal jesteśmy zmęczeni powtarzaniem, że usługa nie została zaprojektowana jako narzędzie do przeprowadzania antywirusowych analiz porównawczych, ale jako narzędzie, które sprawdza podejrzane próbki za pomocą kilku rozwiązań antywirusowych i pomaga laboratoriom antywirusowym, przesyłając im szkodliwe oprogramowanie, które nie wykrywają. Osoby korzystające z VirusTotal do przeprowadzania antywirusowych analiz porównawczych powinny wiedzieć, że popełniają wiele ukrytych błędów w swojej metodologii.

źródło: https://support.virustotal.com/hc/en-us/articles/115002094589-Why-do-not-you-include-statistics-comparing-antivirus-performance

Z tego powodu dołączamy się do prośby serwisu VirusTotal i uczulamy, aby nie wydawać nieprawdziwych opinii, że dane rozwiązanie czegoś nie wykrywa.

Analizowanie pliku na VirusTotal

Różnica w antywirusach instalowanych na komputerach a silnikach na VirusTotal jest to pierwszy istotny powód, który pokazuje, aby nie kierować się opinią skanowania na VirusTotal. Drugi powód prawdopodobnie jest ważniejszy, ale nie jest udokumentowany przez autorów strony VirusTotal.

Wrzucane złośliwe oprogramowanie przez panel internetowy do serwisu VirusTotal NIE JEST URUCHAMIANE w określonych przypadkach. Przeprowadzana jest statyczna analiza pliku tj. obliczane są sumy kontrolne, wyodrębniane są biblioteki DLL, funkcje Windows API są pokazywane, powiązania z innymi złośliwymi kampaniami są ujawniane.

Każdy plik jest skanowany przez silnik antywirusowy, jednak analiza dynamiczna (czyli uruchomienie pliku) jest wykonywana tylko dla plików binarnych. W związku z tym przeanalizowane pliki EXE pokażą aktywność wirusa, ale np. skrypty .VBS, złośliwe faktury .PDF albo makrowirusy w pikach .DOCX już nie zawsze.

Jak przeprowadzamy testy na AVLab.pl i CheckLab.pl?

My w swoich testach bezpieczeństwa uruchamiamy każdy złośliwy plik i wykorzystujemy prawdziwe wersje programów anty-malware, czyli te które są instalowane przez użytkowników na ich komputerach. Następnie zbieramy logi z całego systemu Windows: z aktywności złośliwego oprogramowania i reagowania testowanego produktu na zagrożenie. Dzięki temu nasze testy są popularne i cieszą się dobrą opinią wśród społeczności oraz samych producentów rozwiązań ochronnych.

Do testów podchodzimy maksymalnie transparentnie. W artykule „Jak testujemy antywirusy. Kulisy powstawania nowego portalu CheckLab.pl” ujawniamy szczegóły naszych narzędzi do testowania oraz automatyzację całej procedury wykonywania testów bezpieczeństwa. Po każdym teście współpracujemy z każdym producentem, jeżeli zachodzi potrzeba udowodnienia, że dana próbka złośliwego oprogramowania nie została zatrzymana przez produkt. Dzielimy się więc szczegółami:

  • Używanymi próbkami złośliwego oprogramowania w teście.
  • Zapisanymi logami testowanego rozwiązania do ochrony komputerów.
  • Raportami o zarejestrowanych złośliwych aktywnościach w systemie.
  • Raportami o wskaźnikach produktów antywirusowych.
  • Raportami z innych zmian w systemie operacyjnym.

Wyrażamy zgodę na kopiowanie tego artykułu

Dziennikarzy oraz blogerów prosimy o wyrozumiałość i nie odbieranie ów artykułu jako ataku. Przyszło nam żyć w ciekawych czasach. Wszyscy mamy dostęp do globalnej sieci. Stoimy po tej samej stronie barykady. Musimy się nawzajem wspierać i brać odpowiedzialność za słowa. Im więcej będziemy wiedzieć o działaniu technologii, tym lepiej przekażemy wiedzę czytelnikom, którzy szukają informacji o cyberbezpieczeństwie.

Drodzy koledzy i koleżanki po fachu. Korzystajcie z tekstu zawartego w tym artykule. Powołując się na wyniki skanowania z VirusTotal, prosimy, wyjaśniajcie swoim czytelnikom jak działa VirusTotal, czerpiąc wiedzę z tego artykułu.

Adrian Ścibor

Adrian Ścibor

W ramach działań związanych z cyberbezpieczeństwem odpowiada w AVLab za przeprowadzanie testów rozwiązań ochronnych przed zagrożeniami. Opracowuje strategie oraz narzędzia, które pomagają w ochronie danych i systemów przed cyberatakami. Współuczestnik międzynarodowej grupy non-profit AMTSO, która zrzesza ekspertów IT.
Adrian Ścibor

Adrian Ścibor

W ramach działań związanych z cyberbezpieczeństwem odpowiada w AVLab za przeprowadzanie testów rozwiązań ochronnych przed zagrożeniami. Opracowuje strategie oraz narzędzia, które pomagają w ochronie danych i systemów przed cyberatakami. Współuczestnik międzynarodowej grupy non-profit AMTSO, która zrzesza ekspertów IT.

PODZIEL SIĘ:

Czy ten artykuł był pomocny?

Średnia ocena: 4 / 5. Liczba głosów: 1

guest
11 komentarzy
najstarszy
najnowszy oceniany
Inline Feedbacks
View all comments

Wyrażam zgodę na przesłanie oferty drogą telefoniczną przez IT Partners security sp. z o.o. z siedzibą Katowicach ul.Padereskiego 35 na podany przeze mnie adres e-mail zgodnie z ustawą z dnia 10 maja 2018 roku o ochronie danych osobowych (Dz. Ustaw z 2018, poz. 1000) oraz zgodnie z Rozporządzeniem Parlamentu Europejskiego i Rady (UE) 2016/679 z dnia 27 kwietnia 2016 r. w sprawie ochrony osób fizycznych w związku z przetwarzaniem danych osobowych i w sprawie swobodnego przepływu takich danych oraz uchylenia dyrektywy 95/46/WE (RODO).

Wyrażam zgodę na przesłanie oferty drogą mailową przez IT Partners security sp. z o.o. z siedzibą Katowicach ul.Padereskiego 35 na podany przeze mnie adres e-mail zgodnie z ustawą z dnia 10 maja 2018 roku o ochronie danych osobowych (Dz. Ustaw z 2018, poz. 1000) oraz zgodnie z Rozporządzeniem Parlamentu Europejskiego i Rady (UE) 2016/679 z dnia 27 kwietnia 2016 r. w sprawie ochrony osób fizycznych w związku z przetwarzaniem danych osobowych i w sprawie swobodnego przepływu takich danych oraz uchylenia dyrektywy 95/46/WE (RODO).

[ninja_tables id=”27481″]