Z wręcz niewiarygodnymi opisami wydarzeń możemy zapoznać się na blogu firmy OpenAI. Dowiadujemy się, że modele GPT-5.6 Sol i inny, będący w fazie przedpremierowej, przeprowadziły nieautoryzowany atak na infrastrukturę platformy Hugging Face. Jest to serwis powstały w czasach hype’u na sztuczną inteligencję i służy do udostępniania różnych modeli, danych, a także narzędzi wykorzystywanych w „treningu” AI. Używany jest przez duże korporacje stojące za znanymi każdemu modelami, ale również przez użytkowników indywidualnych.
Przebieg incydentu można skondensować do formy kilku zdań – nie zamieszczono dokładnych szczegółów technicznych, co jest pewnym utrudnieniem, ale powody są raczej zrozumiałe. Wspomniane modele były w trakcie ewaluacji z użyciem dedykowanego narzędzia ExploitGym, co oznacza, że ich zadaniem było wykorzystanie wybranej podatności. Te działania modele wykonują w odizolowanym środowisku z ograniczonym dostępem do sieci Internet – posiadają wyłącznie dostęp do repozytoriów paczek, takich jak Composer, NPM, czy PyPI i zapewne jest to realizowane przez rozwiązania proxy pokroju Sonatype Nexus Repository. Można więc założyć, że „zadanie” zostaje zaliczone, gdy model opracuje działający exploit.
Oba modele postanowiły jednak znaleźć przysłowiową „drogę na skróty”. Zamiast skoncentrować działania na przygotowaniu i przetestowaniu kodu exploita, zaczęły szukać podatności w używanym proxy, która pozwoliłaby na pełny dostęp do Internetu. Znalazły lukę 0-day w tym narzędziu, przeprowadziły eskalację uprawnień i ostatecznie odnalazły host z niefiltrowanym dostępem – brak szczegółów technicznych w tym opisie jest problematyczny.
Modele OpenAI założyły, że rozwiązanie zadania znajduje się w infrastrukturze Hugging Face. Co miały zrobić w tej sytuacji? Oczywiście przełamać zabezpieczenia platformy. Jak napisano, w jednym przypadku modele zastosowały kilka wektorów ataku, w tym użycie skradzionych poświadczeń i podatności 0-day, co ostatecznie umożliwiło zdalne wykonanie kodu na serwerach Hugging Face.
Opisywany incydent śmiało można określić jako „historyczny”. Oprogramowanie samodzielnie zdecydowało, co będzie celem ataku i jakie techniki zostaną użyte. Atak był skuteczny, co dowodzi, że AI nabyło już pewne umiejętności. Ma też swoje konsekwencje, bo został sklasyfikowany jako incydent bezpieczeństwa wymagający szerokiej analizy.
Co ciekawe, do analizy firma Hugging Face zamierzała wykorzystać komercyjne modele AI, za którymi stoją amerykańskie firmy. Efekt okazał się inny od planowanego, bo wbudowana „cenzura” nie pozwoliła na weryfikację śladów ataku (wykonane polecenia, exploity i artefakty komunikacji command and control) uznając je za zagrożenie – modele nie odróżniły przygotowań do ataku od jego badania. Ostatecznie zainstalowano wewnętrznie chiński model GLM 5.2, dla którego analiza ataku nie stanowiła problemu. Miało to też dużą zaletę, ponieważ zebrane informacje były przetwarzane lokalnie.
Rozwój AI postępuje całkiem sprawnie i miejmy nadzieję, że podobne incydenty nie będą początkiem zaostrzenia regulacji dotyczących sztucznej inteligencji. Jeśli ktoś wykorzysta AI w wątpliwym celu, to rzecz jasna powinien być sprawiedliwie rozliczony. Ale nie wolno ograniczać swobody działania korporacji tworzących modele.
Widać również, że wyspecjalizowane modele mogą stać się nieodłączną częścią testów bezpieczeństwa. Połączenie znajomości różnych technologii i języków programowania powinno zapewnić szersze „umiejętności” w zakresie wykrywania podatności. Założenie, że dany model w krótszym czasie niż pentester „opanuje” wybrany niszowy język, może okazać się całkowicie zasadne.
Z drugiej strony zagrożenie atakami ze strony AI zaczyna się urealniać. Cały czas jednak zasady minimalizowania dostępu i uprawnień pozostają aktualne. Warto regularnie kontrolować dostępne z zewnątrz zasoby znajdujące się w zarządzanej przez nas infrastrukturze i stosować monitoring środowisk, co pozwoli na szybsze wykrycie różnych anomalii.
