Virus Bulletin opublikował kwartalne wyniki z testu 16 rozwiązań antyspamowych, których zadaniem było skanowanie przychodzących wiadomości w poszukiwaniu spamu. Test rozpoczął się w 25 kwietnia o godz. 12:00 i zakończył 11 maja o tej samej porze. Do testu zebrano łącznie 140653 wiadomości, z pośród których:
- 29350 było spamem,
- 65007 dostarczono z honeypotów: Project Honey Pot i Abusix,
- 64344 dostarczył serwis spamfeed.me
Ponadto 11320 wiadomości sklasyfikowano jak „czyste” i wykorzystywano je do sprawdzenia podatności na fałszywe alarmy. Produkt, który charakteryzował się doskonałą wykrywalnością, ale blokował nieszkodliwe e-maile (skrót FP, ang. False Positive) otrzymywał punkty ujemne.
Skompletowane próbki wysyłano przez skonfigurowane rozwiązania antyspamowe za pośrednictwem serwera PowerEdge firmy Dell.
| Produkt | SC rate | FP rate | Final score |
| Kaspersky Security 8 for Linux Mail Server | 99.86% | 0.00% | 99.86 |
| IBM Lotus Protector for Mail Security | 99.82% | 0.00% | 99.82 |
| Fortinet FortiMail | 99.94% | 0.02% | 99.81 |
| OnlyMyEmail’s Corporate MX-Defender | 99.998% | 0.04% | 99.799 |
| Bitdefender Security for Mail Servers 3.1.2 | 99.94% | 0.04% | 99.76 |
| Libra Esva 3.4.1.0 | 99.98% | 0.05% | 99.74 |
| Sophos Email Appliance | 99.79% | 0.01% | 99.74 |
| ZEROSPAM | 99.88% | 0.03% | 99.72 |
| ESET Mail Security for Microsoft Exchange Server | 99.69% | 0.00% | 99.67 |
| SpamTitan 6.00 | 99.57% | 0.00% | 99.55 |
| Netmail Secure | 99.40% | 0.00% | 99.33 |
| Egedian Mail Security | 99.06% | 0.00% | 99.02 |
| GFI MailEssentials | 99.09% | 0.03% | 98.89 |
| McAfee SaaS Email Protection | 98.92% | 0.00% | 98.87 |
| Axway MailGate 5.3.1 | 99.69% | 0.21% | 98.47 |
| Scrollout F1 | 98.91% | 0.24% | 97.12 |
| Spamhaus ZEN+DBL | 96.10% | 0.00% | 96.10 |
Spośród 16 rozwiązań, 10 zaliczyło wpadki blokując „czyste” wiadomości. Powyższa tabela może sugerować, że 0,01% to naprawdę niewiele, ale wykonując proste obliczenia matematyczne okazuje się, że liczba ta przekłada się 14 zablokowanych wiadomości, które mogły nie trafić skrzynki pocztowej pracownika.
Największym ogólnym wynikiem pochwalić się może Kaspersky Security 8 for Linux Mail Server, IBM Lotus Protector for Mail Security i Fortinet FortiMail.
Pełen raport na stronie: https://www.virusbtn.com/virusbulletin/archive/2015/05/vb201505-vbspam-comparative
