Ów artkuł powstał właściwie z dziennikarskiego obowiązku, ponieważ ciągle spotykamy się z opiniami dziennikarzy z portalów teleinformatycznych, którzy na podstawie wyników skanowania z VirusTotal wydają niesprawiedliwe opinie o rozwiązaniach bezpieczeństwa. Trochę niepokoi nas to, że do podobnego sformułowania ośmielają się osoby techniczne, trenerzy bezpieczeństwa, czy przedstawiciele dystrybutorów na pokazach warsztatowych. Dlatego jako niezależne medium w sprawach cyberbezpieczeństwa chcemy wyjaśnić kolegom i koleżankom po fachu, aby wyraźnie zaznaczali z jakiego powodu antywirusy na VirusTotal nie wykrywają złośliwego kod (albo wykrywają, ale w ograniczonym zakresie).  

Więc o co chodzi z VirusTotal? Dlaczego VirusTotal nie nadaje się do wydawania opinii na temat tego „czy i który” antywirus cokolwiek wykrywa?

Oto kilka przykładów z branży informatycznej:

Polski operator telekomunikacyjny i dostawca usług cyberbezpieczeństwa tak rozpisuje się o VirusTotal.
Polski operator telekomunikacyjny i dostawca usług cyberbezpieczeństwa tak rozpisuje się o VirusTotal. Źródło: https://exatel.pl/aktualnosci/cyber-blog/antivirus-evasion-obfuskacja-msiexec/
Programista pan Bartosz Szewczak w swoje pracy magisterskiej o złośliwym oprogramowaniu.
Programista pan Bartosz Szewczak w swoje pracy magisterskiej o złośliwym oprogramowaniu. Źródło: https://bartoszszewczyk.blogspot.com/2017/07/kilka-sow-o-zosliwym-oprogramowaniu.html
Pani Anna Rymsza z dobreprogramy.pl o VirusTotal.
Pani Anna Rymsza z dobreprogramy.pl o VirusTotal. Źródło: https://www.dobreprogramy.pl/Trojan-Emotet-atakuje-polskie-firmy.-Mozesz-byc-nastepna-ofiara,News,104134.html
Na technicznym blogu KapitanHack.pl też pokazano wyniki ze skanowania, ale nie opisano dlaczego.
Na technicznym blogu KapitanHack.pl też pokazano wyniki ze skanowania, ale nie opisano dlaczego. W dalszej części artykułu wyjaśniono jak mogą zareagować produkty bezpieczeństwa. Źródło: https://kapitanhack.pl/2019/01/17/malware/szkodliwe-oprogramowanie-ukryte-w-pliku-graficznym-sprawdzilismy-jak-cyberprzestepcy-atakuja-komputery-przy-uzyciu-steganografii/

Udowodnimy poniżej, że wynik ze skanowania na VirusTotal nie ma wiele wspólnego z rzeczywistym reagowaniem na uruchamiane zagrożenia w prawdziwym systemie operacyjnym. Podobne doświadczenie przeprowadziliśmy w kwietniu 2019 roku. Przydało się ono do zaprezentowania faktów dotyczących rzetelnego testowania.

Dlaczego VirusTotal nie jest przystosowany do współczesnych standardów bezpieczeństwa?

Przy okazji różnych kampanii ze spamem na wielu technicznych portalach da się przeczytać, że „tylko kilka antywirusów wykrywa zagrożenie”. Zwykle są to „półprawdy”, ponieważ VirusTotal nie powinien być używany do wydawania takich opinii, a jeśli już to ze stosownym komentarzem.  

Publiczne opinie wydawane przez dziennikarzy są niepokojące, ponieważ osoby o wątpliwej wiedzy technicznej mogą dojść do błędnego przekonania, że nie warto inwestować w bezpieczeństwo. Koledzy i koleżanki z branży — czy weźmiecie za to odpowiedzialność?

Na konferencji Check Point Experience 2019 w Łodzi udowodniliśmy, że VirusTotal jest pomocny w analizie złośliwego oprogramowania, ale kompletnie nie nadaje się do przeprowadzania nawet amatorskich testów i wydawania opinii. Proszę zwrócić uwagę na poniższy slajd z prezentacji:

Stworzyliśmy cztery zagrożenia. Trzy z nich nie były wykrywane przez silnik Check Point zastosowany na VirusTotal.

Stworzyliśmy cztery zagrożenia. Trzy z nich nie były wykrywane przez silnik Check Point zastosowany na VirusTotal. W prawdziwym scenariuszu rozwiązanie firmy Check Point wykryło wszystkie zagrożenia. Właściwie dlaczego?

Antywirus na komputerze to nie to samo co silnik w VirusTotal

Zastosowane w VirusTotal silniki antywirusowe działają z linii poleceń. W związku z tym mogą nie mieć dostępu do modułów, które wchodzą w skład prawdziwych pakietów zabezpieczających. Udowadnia to praktyczne podejście do testowania. Na przykład złośliwe oprogramowanie, które będzie zablokowane przez moduł firewall w prawdziwym scenariuszu nie będzie zablokowane przez silnik antywirusowy na VirusTotal.

Jak czytamy w oficjalnym dokumencie VirusTotal —zastosowane silniki antywirusowe są wersjami binarnymi działającymi z linii poleceń. Nie będą zachowywać się dokładnie tak samo jak wersje, które instalujemy na komputerach.

Używane silniki na VirusTotal nie posiadają zapory ogniowej, skanowania w chmurze, piaskownicy, HIPS, DLP, blokowania wirusów skryptowych i innych modułów.

Poniżej cytujemy samych autorów VirusTotal, którzy powtarzają to od lat:

W VirusTotal jesteśmy zmęczeni powtarzaniem, że usługa nie została zaprojektowana jako narzędzie do przeprowadzania antywirusowych analiz porównawczych, ale jako narzędzie, które sprawdza podejrzane próbki za pomocą kilku rozwiązań antywirusowych i pomaga laboratoriom antywirusowym, przesyłając im szkodliwe oprogramowanie, które nie wykrywają. Osoby korzystające z VirusTotal do przeprowadzania antywirusowych analiz porównawczych powinny wiedzieć, że popełniają wiele ukrytych błędów w swojej metodologii.

źródło: https://support.virustotal.com/hc/en-us/articles/115002094589-Why-do-not-you-include-statistics-comparing-antivirus-performance

Z tego powodu dołączamy się do prośby serwisu VirusTotal i uczulamy, aby nie wydawać nieprawdziwych opinii, że dane rozwiązanie czegoś nie wykrywa.

Analizowanie pliku na VirusTotal

Różnica w antywirusach instalowanych na komputerach a silnikach na VirusTotal jest to pierwszy istotny powód, który pokazuje, aby nie kierować się opinią skanowania na VirusTotal. Drugi powód prawdopodobnie jest ważniejszy, ale nie jest udokumentowany przez autorów strony VirusTotal.

Wrzucane złośliwe oprogramowanie przez panel internetowy do serwisu VirusTotal NIE JEST URUCHAMIANE w określonych przypadkach. Przeprowadzana jest statyczna analiza pliku tj. obliczane są sumy kontrolne, wyodrębniane są biblioteki DLL, funkcje Windows API są pokazywane, powiązania z innymi złośliwymi kampaniami są ujawniane.

Każdy plik jest skanowany przez silnik antywirusowy, jednak analiza dynamiczna (czyli uruchomienie pliku) jest wykonywana tylko dla plików binarnych. W związku z tym przeanalizowane pliki EXE pokażą aktywność wirusa, ale np. skrypty .VBS, złośliwe faktury .PDF albo makrowirusy w pikach .DOCX już nie zawsze.

Jak przeprowadzamy testy na AVLab.pl i CheckLab.pl?

My w swoich testach bezpieczeństwa uruchamiamy każdy złośliwy plik i wykorzystujemy prawdziwe wersje programów anty-malware, czyli te które są instalowane przez użytkowników na ich komputerach. Następnie zbieramy logi z całego systemu Windows: z aktywności złośliwego oprogramowania i reagowania testowanego produktu na zagrożenie. Dzięki temu nasze testy są popularne i cieszą się dobrą opinią wśród społeczności oraz samych producentów rozwiązań ochronnych.

Do testów podchodzimy maksymalnie transparentnie. W artykule „Jak testujemy antywirusy. Kulisy powstawania nowego portalu CheckLab.pl” ujawniamy szczegóły naszych narzędzi do testowania oraz automatyzację całej procedury wykonywania testów bezpieczeństwa. Po każdym teście współpracujemy z każdym producentem, jeżeli zachodzi potrzeba udowodnienia, że dana próbka złośliwego oprogramowania nie została zatrzymana przez produkt. Dzielimy się więc szczegółami:

  • Używanymi próbkami złośliwego oprogramowania w teście.
  • Zapisanymi logami testowanego rozwiązania do ochrony komputerów.
  • Raportami o zarejestrowanych złośliwych aktywnościach w systemie.
  • Raportami o wskaźnikach produktów antywirusowych.
  • Raportami z innych zmian w systemie operacyjnym.

Wyrażamy zgodę na kopiowanie tego artykułu

Dziennikarzy oraz blogerów prosimy o wyrozumiałość i nie odbieranie ów artykułu jako ataku. Przyszło nam żyć w ciekawych czasach. Wszyscy mamy dostęp do globalnej sieci. Stoimy po tej samej stronie barykady. Musimy się nawzajem wspierać i brać odpowiedzialność za słowa. Im więcej będziemy wiedzieć o działaniu technologii, tym lepiej przekażemy wiedzę czytelnikom, którzy szukają informacji o cyberbezpieczeństwie.

Drodzy koledzy i koleżanki po fachu. Korzystajcie z tekstu zawartego w tym artykule. Powołując się na wyniki skanowania z VirusTotal, prosimy, wyjaśniajcie swoim czytelnikom jak działa VirusTotal, czerpiąc wiedzę z tego artykułu.

AUTOR:

Adrian Ścibor

Podziel się

Komentarze

PN sob., 26-10-2019 - 10:11

Ciekawy tekst. Ale warto wspomniec, ze KAZDY test laboratoryjny daje inne wyniki, niz te rzeczywiste. W waszym ostatnim tescie na CheckLab wykazaliscie praktycznie stuprocentowa skutecznosc programow. To tak na serio? :) Taka sama bzdura jak na av-test.

Adrian Ścibor sob., 26-10-2019 - 10:14

Dlatego zawsze powtarzamy, aby nie kierować się tylko jednymi testami, ale wieloma. Testy na CheckLab polegają na sprawdzeniu ochrony przed próbkami złapanymi z internetu. Na AVLab co jakiś czas robimy testy z wykorzystaniem technik ataków. Takie testy pojawią się w przyszłym roku.

Dodane przez PN w odpowiedzi na

PN sob., 26-10-2019 - 10:19

No dobra, to jaki jest cel przeprowadzania w laboratorium testow, w ktorym wszystkim wychodzi 100%, a w praktyce serwisy komputerowe sa pelne zainfekowanych maszyn?

Dodane przez Adrian Ścibor w odpowiedzi na

Adrian Ścibor sob., 26-10-2019 - 10:28

Czyli zakładasz, że zawsze będzie wychodziło 100%... Spójrz na wyniki z lipca 2019 roku.
W praktyce nie masz kontroli nad tym, co kliknie użytkownik, pomimo komunikatu ostrzegawczego. Testy przeprowadzasz tak, aby np. wyłapać komunikat ostrzegawczy od antywirusa. Nie masz wpływu na głupotę albo niewiedzę użytkownika. Może będzie chciał na siłę zainstalować crack, trailer lub jakiś mod pobrany z sieci do gry. Albo aktywator Windows z Chomikuj. Oczywiście na czas instalacji wyłączy antywirusa lub doda coś do wykluczeń.

Testy bezpieczeństwa nie przewidzą wszystkich sytuacji, które wyprawiają na co dzień użytkownicy. Zadaniem naszym jest przetestować produkt w konkretnej sytuacji i podpowiedzieć, co warto wybrać. A to tylko aspekt ochrony. Dalej masz np. wsparcie dla konkretnych systemów, zarządzanie z chmury, VPN, ochronę rodzicielską, itp itd. Nie da się wskazać - wybierz X a będziesz chroniony przed wszystkim. Dlatego też na AVLab edukujemy i uświadamiamy. Antymalware jest tylko narzędziem, które może pomóc wyłapać 99% znanych malware. Dane i informacje na dyskach są w rękach użytkowników, dlatego aspekt uświadamiający jest niezwykle ważny. Antywirusy są wsparciem, a nie złotym lekarstwem na wszystko.

PN sob., 26-10-2019 - 10:37

Spytam inaczej. Jakie wnioski powinien wyciagnac czytelnik np. z ostatniego testu na CheckLab?

Dodane przez Adrian Ścibor w odpowiedzi na

Adrian Ścibor sob., 26-10-2019 - 10:49

Ufaj, ale zawsze sprawdzaj, weryfikuj z innymi testami. Raz przyłapana organizacja testująca na oszukiwaniu już nigdy nie zdoła odbudować swojego zaufania. Wiele się mówi, że firmy testujące "biorą pod stołem" za lepsze wyniki. Według mnie to kompletna bzdura, bo po pierwsze - nigdy nie słyszałem o takim przypadku. Po drugie wiem co by się stało z firmą AVLab, gdybym na coś takiego pozwolił. To co buduję od 2012 roku pękłoby jak bańka. To się nie trzyma kupy. Wyniki są podparte dowodami, czyli logami dla każdej próbki malware. I uwierz mi, bo nie masz powodów, aby nie wierzyć - po stronie producentów pracują uczciwi techniczni inżynierowie, którzy są wnikliwi i szczegółowi. Nie mają żadnych powodów i władzy, aby próbować coś zrobić "pod stołem".

Wybierając dany produkt musisz szukać informacji, czy warto. I np. w naszych testach są produkty jak Webroot, Comodo, SecureAPlus czy ZoneAlarm, które NIGDZIE nie są testowane. Nie można producentów i użytkowników pozostawiać samym sobie. Trzeba testować różne rozwiązania, aby nikt nie spoczął na laurach. W dodatku nie każdy producent wyraża zgodę, więc nie możemy testować wszystkich znanych produktów w tym samym miesiącu.

P.S. Do końca m-c trwa test bezpłatnych AV, gdzie jest kilku zupełnie nowych producentów jak Microsoft, NANO, Panda i inni.

PN sob., 26-10-2019 - 11:14

"Uderz w stol..." :) Nawet mi przez mysl nie przeszlo, zeby sugerowac nieuczciwosc w tescie. Chodzilo mi o wnioski plynace z testu. I na to pytanie odpowiedz nie padla.

Dodane przez Adrian Ścibor w odpowiedzi na

Jrk sob., 26-10-2019 - 11:38

Panie Adrianie wyszla darmowa wersja spyshelter gdzie tez jest skanowanie do virustotal.
Moje pytanie inne bo wersja darmowa ma firewall. Czy to jest normalny firewall zastepujacy np zapore systemu windows?

aktualności ndz., 27-10-2019 - 09:28

a kiedy testy zapór i antywirusów na androidy?

arkoz ndz., 27-10-2019 - 18:11

Największą „półprawdą” jest to, że AV zabezpiecza komputer i jego użytkowników. Cytując klasyka "to nie jest panaceum".

Dodaj komentarz