W części pierwszej rozwiązania SpamTitan opisaliśmy jego ogólną charakterystykę, przytoczyliśmy zbiór informacji na temat dystrybutora i firmy Copperfasten Technologies – twórców bramy pocztowej do filtrowania treści w wiadomościach e-mail. Dzisiaj napiszemy o wykorzystywanych technologiach zaimplementowanych w SpamTitan do ochrony przed wirusami, spamem i niechcianymi treściami.
SpamTitan to brama zapewniająca filtrowanie serwerów pocztowych. Jest łatwy w instalacji i spełnia potrzeby nawet najbardziej wymagających przedsiębiorstw. SpamTitan łączy w sobie system operacyjny i asortyment aplikacji oraz usług pocztowych, które składają się na firewall do wyłapywania i eliminacji spamu, wirusów a także możliwości narzucenia polityki bezpieczeństwa e-mail w korporacji.
Po pierwsze – ochrona antywirusowa
Od roku 2006 dzięki współpracy Copperfasten Technologies i Kaspersky Lab, SpamTitan zawiera zintegrowane silniki skanujące -ClamAV, obecnie w wersji 0.98.1 i Kaspersky 8.1.3.14.
Mało kto wie, że pomysłodawcą i autorem silnika Clam AntiVirus jest… Polak o imieniu Tomasz Kojm a inspiracją do napisania silnika antywirusowego była… ociężała Java – już od dekady jak widać nic na tym polu się nie zmieniło ;]
Jeszcze na studiach (2000-2005) na Uniwersytecie Mikołaja Kopernika w Toruniu, w 2001 roku Tomek wpadł przypadkiem na projekt o nazwie OpenAntiVirus. Było to wtedy jedno z pierwszych rozwiązań antywirusowych typu open-source. Sęk w tym, że program w całości został napisany w Javie, a w owym czasie problemy z wydajnością maszyn na starszym sprzęcie były duże. Co więcej, aplikacji brakowało skanowania z linii komend i automatycznych aktualizacji sygnatur.
Kiedy próbował uzupełnić te braki w swoim projekcie, otrzymywał od społeczności dziesiątki e-maili każdego dnia, zaledwie kilka dni po pierwszej publikacji. Ludzie prosząc o poprawki, podając swoje sugestie zmian, słali przy okazji miłe słowa oraz podziękowania. Miało to ogromny wpływ na Tomka i dalsze losy programu. Projekt ClamAV powstał dwa lata później po dołączeniu interesantów do zespołu.
W roku 2006 Marty Roesch, twórca systemu Snort, założyciel i dyrektor techniczny firmy Sourcefire, skontaktował się z Tomaszem i zaoferował mu współpracę. Po wielu dyskusjach, zespół ClamAV i Sourcefire doszli do porozumienia łącząc swoje siły. Punktem zwrotnym w podjęciu decyzji o wspólnym projekcie była gwarancja, że ClamAV pozostanie nadal otwarty i dystrybuowany na licencji GPL. Tak też się stało.
Przy okazji informacji o silniku ClamAV, zadaliśmy kilka pytań samemu Tomaszowi.
1. Dlaczego porzuciłeś projekt ClamAV?
Po dziesięciu latach rozwijania ClamAV podjęliśmy decyzję, że pora na innowację Open Source w nowym sektorze. Po blisko dwóch latach pracy, w zeszłym tygodniu opublikowaliśmy kod źródłowy naszej nowej technologii do budowy chmur danych – Skylable SX
www.skylable.com
2. Dlaczego ClamAV początkowo był kierowany tylko dla systemów Unix?
W 2002 roku sytuacja z serwerowymi AV była tragiczna. Komercyjne programy naliczały opłaty od ilości skrzynek pocztowych, z kolei jedyny istniejący opensource’owy antywirus – OpenAntivirus był napisany w Javie, uruchamiał się kilka minut i nie nadawał się do użytku jako aplikacja 'mission critical’. Więc jak to zwykle bywa – potrzeba matką wynalazków…
ClamAV był strzałem w dziesiątkę. Obecnie chroni ok. 2 miliardów użytkowników Internetu. Jest używany przez wszystkich gigantów: Google (skanowanie plików we wszystkich usługach – GMail, Drive, etc.),
- Facebook (skanowanie wszystkich obiektów uploadowanych do serwisu),
- Apple (tu ciekawostka: każdy OS X ma konto 'clamav’ w /etc/passwd),
- Cisco (obecny właściciel praw licencyjnych do ClamAV – używa go zarówno w sporej gamie rozwiązań hardwarowych, jak i software’owych, np. Cisco Security Agent), itd, itd.
- Używany jest także przez kraje, które nie mogą pozwolić sobie na stosowanie „zamkniętych” rozwiązań (ze względu na ryzyko backdoorów, itp.). Np. po ataku Stuxneta, Iran na szeroką skalę wdrożył ochronę opartą na ClamAV, gdzie dodatkowo stosują własne sygnatury.
3. Patrząc z perspektywy czasu, czy jesteś w stanie ocenić dlaczego ClamAV nie sprawdza się na systemach z rodziny Windows? Czy jest to spowodowane priorytetem dla architektury dedykowanej pod Unix z pominięciem Windowsa?
ClamAV był od początku zaprojektowany i rozwijany jako oprogramowanie serwerowe i w tym obszarze osiągnął sukces. Unix i Windows to dwa różne światy – bezpośrednie portowanie oprogramowania zazwyczaj nie kończy się dobrym rezultatem (działa to w obie strony – klony Windowsowych AV również nie sprawują się dobrze na Unixach).
4. Skąd wziąłeś nazwę „ClamAV” ?
Małże odżywiają się przez filtrowanie i żeby przeżyć, muszą skutecznie filtrować wodę pod kątem cząsteczek, które mogą zjeść. Ot cała historia.. 🙂
(red. przypomina: clam – mięczaki)
ClamAV nie jest zbyt popularny wśród użytkowników Windowsów. Został napisany z myślą o systemach UNIX. O popularności na tej platformie może świadczyć fakt, iż korzystają z niego firmy oraz organizacje takie jak: OnLamp, XS4ALL, Catt.com, Rząd w Vermont, Uniwersytet Michigan, Uniwersytet w Indianie i Forcie Wayne, Slashmail, Webmali.us, SORBS (Spam and Open Relay Blocking System), Barracuda Networks, DynDNS, No-IP.com, Allegro.pl i wspomniane wcześniej firmy przez Tomasza Kojma.
Obecnie prawa licencyjne do ClamAV jest w rękach Cisco. W roku 2008 ClamAV chronił około 1 miliona użytkowników. Obecnie liczba ta oscyluje w granicach 2 miliardów.
Silnik ClamAV oraz Kaspersky domyślnie są włączone i działają w czasie rzeczywistym skanując wszystkie wiadomości pod kątem zagrożeń zapewniając dwuwarstwową ochronę. W przypadku wygaśnięcia licencji na korzystanie z rozwiązania SpamTitan, Kaspersky Anti-Virus będzie nadal skanował ruchu pocztowy, ale aktualizacja baz sygnatur będzie niemożliwa.
Po drugie – antyspam
Algorytm lingwistyczny Bayesa – nazwa tego algorytmu wyszukującego spam pochodzi od nazwiska angielskiego matematyka i teologa Thomasa Bayesa (1702-1761), który zajmował się między innymi rachunkiem prawdopodobieństwa.
Rozpoznawanie spamu w programie opiera się na metodach filtrowania słów kluczowych, które pozwalają na uczenie modułu antyspamowego w taki sposób,aby ten mógł rozpoznawać spam, prawdopodobny spam oraz czyste wiadomości.
Podczas uczenia, poszczególnym składnikom przydzielany jest odpowiedni współczynnik czystych wiadomości lub spamu. Gdy dostajemy wiadomość e-mail, antyspam skanuje ją przy użyciu algorytmu Bayesa, aby określić czy wiadomość jest spamem czy też nie. Komponent sumuje klasyfikatory każdego elementu spamu (czystej wiadomości) i oblicza jego współczynnik. Im większy współczynnik, tym wyższe prawdopodobieństwo, że wiadomość to spam.
- Domyślnie wiadomość jest oznaczana jako czysta, jeżeli wartość współczynnika nie przekracza 60.
- Jeżeli wartość współczynnika jest wyższa niż 60, wiadomość jest oznaczana jako potencjalny spam.
- Jeżeli wartość przekroczy 90, wiadomość jest oznaczana jako spam.
Penpals – jest to funkcjonalność, która ocenia prawdopodobieństwo wysłania spamu przez nadawcę, inaczej – jest metodą kategoryzowania nadawców. Jeśli nadawca wyśle nam wiadomość, a my odpowiemy na nią, istnieje duże prawdopodobieństwo, że wiadomość nie była spamem.
Test OCR – Optical Character Recognition umożliwia SpamTitan’owi skanowanie obrazów osadzonych w wiadomościach e-mail, które mogą zawierać spam. Przy pomocy OCR SpamTitan może odczytać tekst zawarty w obrazie, aby przypisać mu wynik analizy spamu.
Analiza botnet – niezwykle ważne narzędzie, które sprawdza, aby nazwa hosta nadawcy zawierała pełna domenę i zgadzała się z jego IP. Odrzucane są maile, których domena nadawcy nie jest odzwierciedlona w reverse DNS.
Pasywna weryfikacja OS – pozwala na identyfikację systemu operacyjnego z jakiego została wysłana do nas wiadomość. Wiadomości wysłane z XP otrzymują flagę potencjalnie bardziej spamowych niż wiadomości wysłane z systemów UNIX.
To jeszcze nie wszystkie metody. SpamTitan posiada bardziej zaawansowane klasyfikatory, które działają po wstępnym odrzuceniu wiadomości.
Jednymi z nich są systemy rozproszone Razor v.2 i Pyzor, które służą do wykrywania i filtracji sieci. Są szczególnie wrażliwe na zmianę i mutację treści wiadomości spamowych. Więcej na ich tematrazor.sourceforge.net i sourceforge.net/apps/trac/pyzor
Opisane tutaj technologie do ochrony przed spamem i klasyfikacji treści nie wyczerpują w 100% możliwości SpamTitan’u. Na zakończenie tej części warto wspomnieć, że rozwiązanie to korzysta także z technologii RBL (Real-time Black List lub Real-Time Blackhole List), jest to serwer DNS, który zawiera listę adresów IP spamerów. Jeśli IP nadawcy znajdzie się w jakiejś kategorii na czarnej liście, połączenie zostanie przerwane. Inaczej, RBL zawiera adresy serwerów i stron, które przechowują informacje dotyczące spamerów.
W części trzeciej przyjrzymy się już możliwościom konfiguracyjnym SpamTitan.
