Światło dzienne ujrzała bardzo ciekawa historia. Wszystko zaczęło się dnia 26 kwietnia 2015 roku, kiedy to AV-Comparatives na swoim blogu oraz fejsbukowym profilu społczenościowym wystosował notkę, z której mogliśmy się dowiedzieć, iż jeden z producentów biorących udział w testach oszukuje zarówno AV-Comparatives jak i nas wszystkich.
Początkowo AV-Comparatives przyznał się, że chodzi o darmowy produkt, jednak jeszcze tego samego dnia wiadomość ta została usunięta. Cała dyskusja znajduje się tutaj.
Otóż tym producentem jest dobrze znany chiński Qihoo, który odpowiedzialny jest za tworzenie i rozwój darmowego programu 360 Total Security – program przez jednych chwalony za wydajność i skuteczność, przez innych krytykowany za swoje pochodzenie, bylejakość i ogólnie za „chińszczyznę”.
Owe oszustwo polegało na tym, że wersja programu 360 Total Security dostępna na stronie producenta była inna niż ta, którą producent dostarczył do testów, były to różne build-y – taką informację otrzymał w tajemnicy Neil J. Rubenking od jednego z dyrektorów AV-Comparatives podczas konferencji RSA Conference, która odbyła się w dniach 20-24 kwietnia 2015 roku. Ostatecznie dwa dni później tj. 26 kwietnia osoby decyzyjne z AV-Test, AV-Comparatives i Virus Bulletin potwierdziły wspólne dochodzenie. Dwa dni później korzystając z telekonferencji przedyskutowano całą sprawę i 30 kwietnia wystosowano publiczną notę, która potwierdza, że:
– Producent Qihoo dostarczał do testów program, który domyślnie działał na silniku Bitdefendera, podczas gdy wersja dostępna na stronie producenta domyślnie ma włączony tylko silnik QVM.
– Analiza wykazała, że autorski silnik QVM zapewnia niższy poziom ochrony niż Bitdefender i co więcej, silnik QVM generuje więcej fałszywych alarmów.
– Przedstawiciel Qihoo wysunął argumenty, jakoby również chińskie programy Baidu i Tencent także dostarczają różne wersje programów do testów.
– Virus Buletin, AV-C i AV-Test potwierdzają różnice w programie Baidu i Tencen, na które wskazywał przedstawiciel Qihoo, jednak po głębszej analizie twierdzą, że róznice te nie wpływają na wyniki i są zaakceptowane.
– Virus Buletin, AV-C i AV-Test cofają wszystkie zdobyte certyfikaty w tym roku dla producenta Qihoo i zobowiązują się nałożyć na producentów bardziej restrykcyjne zasady dostarczania programów.
Wnioski z tej historii są następujące. Zarówno AV-C jak i AV-Test oraz Virus Bulletin też nie są bez winy. Potępiamy politykę dostarczania różnych wersji programów do testów i tych dostępnych dla użytkownika końcowego. Również tłumaczenie ze strony labów – iż Baidu oraz Tencend dostarczają inne wersje, ale ich róznica nie wpływa na wyniki – także wydaje się podejrzane. Praktyki takie nie powinny mieć w ogóle miejsca.
- Współpraca z producentami? TAK – jak najbardziej.
- Testy sponsorowane? TAK – jak najbardziej, o ile jest to dokładnie uwzględnione w dokumencie przedstawiającym wyniki.
- Testowanie różnych wersji? NIE, gdyż tracą na tym klienci.
Inne informacje:
- Więcej informacji o samych silnikach i producencie Qihoo: http://avlab.pl/producent/qihoo
Aktualizacja 2 maj 2015 r.:
Na blogu Qihoo pojawiło się wytłumaczenie całej sytuacji. Producent przyznaje, że dostarczona wersja do testów różniła się od tej dostępnej dla użytkowników, podkreśla także, że całe to zamieszanie wokół AV-Comparatives jest prawdziwe, i że AV-Comparatives o wszystkim wiedziało wcześniej – ponadto producent nie ukrywa, że przypadek testowania wersji programu 360 Total Security z domyślnym silnikiem Bitdefendera miał miejsce, ale dodaje także, że zmieniona domyślna konfiguracja została zgłoszona i zaakceptowana przed testami przez AV-Comparatives.
Mamy więc wojenkę na własne argumenty. Jeśli Qihoo mówi prawdę, to załoga z AV-C albo zapomniała o tym fakcie i przypomniała sobie w najmniej odpowiednim momencie, albo… – nikt o tym nie wiedział, a przedstawiciele Qihoo kłamią. Tak czy owak jako niezależny polski lab nie przekreślamy całkowicie programu i nie cofamy naszych rekomendacji, aczkolwiek na całe to rozdmuchane zamieszanie sugerujemy patrzeć z dystansem.
Aktualizacja 5 maj 2015 r.:
Kolejne informacje wypływają na jaw, tym razem AV-Test udostępnił czytelnikom wyniki ze swojego własnego śledztwa. Chodzi o program Tencent PC Manager i Tencent Mobile Security Manager – programy również jak Qihoo o chińskich korzeniach. Producent tego oprogramowania dopuścił się znacznie gorszego oszustwa – udostępniał wersję do testów „zopytmalizowną” pod kątem testów wydajnościowych i dzięki temu program uzyskiwał lepsze noty w testach sprawdzających stabilność i zużycie zasobów komputera oraz telefonu z systemem Android. Jedno wiemy na pewno – Virus Bulletin, AV-Comparatives oraz AV-Test dokładnie przyjrzą się wszystkim testowanym programom.
