Angielski lab Virus Bulletin co kilka miesięcy publikuje wyniki z badania, w którym sprawdza, jak dobrze produkty do ochrony przed spamem radzą sobie z identyfikowaniem próbek oraz ile generują fałszywych alarmów. W marcu 2016 roku do testu wykorzystano dokładnie 187780 e-maili, z czego:
- 177486 to wiadomości typu spam. 95413 z nich zostało dostarczonych przez właścicieli projektu Project Honey Pot (serwery z pułapkami), 82073 przez spamfeed.me, serwis należy do firmy Abusix.
- 9913 wiadomości to zamawiane informacje o usługach lub produktach. Te “niechciane” wiadomości nie są klasyfikowane jako spam, ponieważ zostały dostarczone po wcześniejszym zaakceptowaniu regulaminów na stronach internetowych.
- 321 z nich to newstellery.
W teście zachowano zasadę równości, dlatego wszystkie rozwiązania zainstalowano na serwerze kasetowym Dell PowerEdge i przydzielono poszczególnym produktom rekomendowane przez producentów zasoby sprzętowe wymagane do ich prawidłowego działania. Różne produkty wymagają innych zasobów sprzętowych, niektóre z nich dostarczane są jako oprogramowanie SaaS w chmurze, dlatego Virus Bulletin nie przeprowadził testów wydajnościowych. Szczegółowa metodologia dostępna jest pod tym adresem URL.
Najskuteczniejszym rozwiązaniem do ochrony przed spamem był produkt firmy ESET Mail Security for Microsoft Exchange Server. Z niespełna 188 tysięcy próbek wykorzystanych do testu ESET wykrył je wszystkie i prawidłowo sklasyfikował. Ogólny wynik skuteczności to 100%. Tuż za nim BitDefender Security for Mail Servers 3.1.2 w ynikiem 99,99% i Libra ESVA 3.2 99,95%. Szczegółowe wyniki.
