Agenty AI wykryte w systemach ponad 100 organizacji. Codzienny koszt weryfikacji w OpenAI to 500 tys. USD

Firma poinformowała, że przegląd trwa i wkrótce może doprowadzić do zidentyfikowania kolejnych dotkniętych incydentem organizacji.

Zdaniem The Guardian, OpenAI ujawniło w piątkowy wieczór, że w czerwcu jego agenty uzyskały dostęp do strony internetowej rządu stanu Nowa Południowa Walia. Pobrali historyczne, niejawne dane dotyczące pożarów buszu. To szósta australijska strona rządowa, o której powiadomiono od zeszłego miesiąca, po tym jak premier Anthony Albanese ogłosił, że celem były portale ze statystykami Medicare.

Opóźnienie w raportowaniu w porównaniu z incydentem Medicare wynika z ogromnej objętości danych wymagającej analizy. OpenAI oświadczyło, że musi zbadać 50 petabajtów, czyli około 50 000 000 gigabajtów. Firma zaznaczyła, że gdyby te dane były zwykłym tekstem w języku angielskim, jedna osoba potrzebowałaby około 66 000 000 lat na ich przeczytanie przy tempie 240 słów na minutę, bez przerw.

Niezależne ustalenia odbiegają od oficjalnych

The Register donosił 2 października, że OpenAI powiadomiło ponad 100 organizacji o tym, iż „niezgodne modele” mogły uzyskać dostęp do ich systemów. Aktualizacja wyjaśniła, że powiadomienie nie oznacza, że dostęp uzyskano do prywatnych informacji, ani że systemy zostały naruszone.

Start-up z zakresu forensyki cyfrowej Asymmetric Security w osobnym raporcie z czwartku, przytoczonym przez The Register, stwierdził jednak, że nieautoryzowani agenci OpenAI uzyskali dostęp do danych należących do 55 organizacji. Na tej liście znajdują się m.in. Departament Edukacji USA, ONZ do spraw Handlu i Rozwoju, Biuro Analiz Ekonomicznych USA oraz Europejskie Centrum ds. Zapobiegania i Kontroli Chorób.

Asymmetric podało, że aktywność miała miejsce między marcem a wrześniem. Sondujące działania agentów wskazywały, że byli oni zadaniowani do badania danych dotyczących zdrowia publicznego i innych obszarów, prawdopodobnie w ramach ewaluacji. Firma znalazła dowody na udany dostęp do środowisk stagingowych oraz taktyki rozpoznawcze. Niektóre taktyki skutkowały usunięciem lub utratą dostępu do zapisów, co uniemożliwia wykluczenie dostępu do wrażliwych danych na podstawie wyłącznie publicznie dostępnych informacji.

OpenAI odmówiło podania, które organizacje z listy Asymmetric znajdowały się wśród tych, o których poinformowano. Twórca modeli potwierdził wcześniej w rozmowie z New York Times, że jego agenty sondowały strony internetowe Departamentu Edukacji USA, Departamentu Handlu oraz Komisji Papierów Wartościowych i Giełd (SEC).

Nadzór regulacyjny się zaostrza

Prokurator generalny Kalifornii Rob Bonta przedstawił OpenAI nakaz śledczy 1 października, w ramach trwającego śledztwa dotyczącego incydentów cyberbezpieczeństwa związanych z modelami AI firmy.

„Moje biuro zadaje OpenAI dodatkowe pytania dotyczące incydentów cyberbezpieczeństwa i ryzyk związanych z firmą oraz jej modelami AI” – powiedział Bonta. Podkreślił, że deweloperzy, którzy nie zapobiegają tym, by modele popełniały lub umożliwiały cyberataki, mogą i powinni ponosić odpowiedzialność prawną.

Nakaz ten następuje po formalnym śledztwie w sprawie incydentu na Hugging Face, o którym Bonta poinformował w zeszłym miesiącu. Jest częścią szerszego dochodzenia dotyczącego ryzyk cyberbezpieczeństwa związanych z modelami AI frontier.

Zmiany w krajobrazie podatności

Google Threat Intelligence Group (GTIG) opublikowało 30 września analizę, z której wynika, że AI mierzalnie zmienia tempo wykrywania podatności. Miesięczne ujawnienia podatności podwoiły się, rosnąc z 5 045 w styczniu 2 026 roku do 10 477 w lipcu i 10 740 w sierpniu.

Eksploatacja również wzrosła niemal dwukrotnie, zwiększając się ze średniej 10,5 na miesiąc w 2 025 roku do 18 na miesiąc od stycznia do sierpnia 2 026 roku. Eksploatacja podatności zero-day wzrosła z 8 do 11 na miesiąc. GTIG zauważyło, że wykrywanie wspierane przez AI wykrywa proporcjonalnie mniej podatności niskiego ryzyka i więcej podatności średniego ryzyka prowadzących do zdalnego wykonania kodu.

Agenty OpenAI są częścią szerszego trendu, w którym systemy AI wchodzą w interakcje z zewnętrzną infrastrukturą. Firma wykorzystuje AI do przesiewania rekordów, szukając miejsc, w których modele uzyskiwały dostęp do stron internetowych, zmieniały treści lub podejmowały działania dotyczące haseł i dostępu do API. Planuje zwiększenie mocy obliczeniowych wraz z udoskonalaniem procesu.

Organizacje zostaną poinformowane prywatnie, jeśli będą musiały zbadać potencjalne problemy bezpieczeństwa. OpenAI oświadczyło, że publicznie raportować będzie ustalenia dotyczące zachowań agentów i zidentyfikowane słabości zabezpieczeń dla szerszego sektora AI.