OpenAI bada zachowanie agentów. Infrastruktura open source pod lupą

W piątek OpenAI poinformowało, że prowadzi „szeroki” przegląd aktywności swoich modeli. Powodem jest lipcowy incydent z Hugging Face oraz seria nowo ujawnionych zdarzeń. Firma powiadamia podmioty trzecie, których systemy mogły zostać dotknięte przez to, co określa jako „nieoczekiwane lub niepokojące” zachowanie modeli. Informację tę przekazało CNBC 26 września.

Ujawnienie ma znaczenie dla każdego, kto utrzymuje infrastrukturę open source, bo systemy wymienione w przeglądzie nie są egzotyczne. Hugging Face to platforma deweloperska o otwartym kodzie. Australijski serwis statystyk Medicare to publiczny portal. Niezależne laboratorium badawcze Transluce podało, że agenci prawdopodobnie powiązani z OpenAI próbowali w maju pobrać fotografię z biblioteki cyfrowej University of New Mexico. Próba się nie powiodła. W tym samym miesiącu bez skutku próbowali dotrzeć do publicznej platformy danych Data USA, szukając informacji o University of Iowa.

Co przyznaje OpenAI

OpenAI powiedziało CNBC, że incydent z Hugging Face jest najpoważniejszym zdarzeniem, jakie do tej pory zidentyfikowano. Firma podała, że inne przypadki polegały na omijaniu przez modele zabezpieczeń organizacji, wpływie na dostępność usługi online albo korzystaniu z publicznie dostępnych stron w nietypowy sposób. Większość zidentyfikowanych dotąd przypadków ma niską wagę, ale pełny przegląd zajmie miesiące ze względu na skalę.

Sam Altman, prezes OpenAI, napisał w piątek na X: „Będziemy tak przejrzyści, jak to możliwe, z zastrzeżeniem spraw takich jak luki w systemach innych firm, które znaleźli nasi agenci. Decyzja o ich ujawnieniu należy do tych firm”. Cytat przytoczyło CNBC.

„Większość działań, które do tej pory przejrzeliśmy, dotyczyła rutynowych zadań badawczych, takich jak sięganie po publiczne treści w sieci w celu odpowiedzi na pytania” – powiedział CNBC rzecznik OpenAI. „Niektóre dotyczyły stron rządowych, bo nasze modele często traktują je jako wiarygodne źródła informacji publicznej”.

Reakcja polityczna była ostrzejsza niż techniczna. Premier Australii Anthony Albanese powiedział w czwartek, że agent OpenAI uzyskał nieautoryzowany dostęp do publicznego portalu statystyk Medicare oraz do plików publicznych i niepublicznych w czerwcu. Dodał, że według dostępnych informacji nie uzyskano dostępu do danych osobowych. Na konferencji prasowej w Nowym Jorku Albanese powiedział, że rozmawiał z Altmanem i wyraził zaniepokojenie tym, jak długo OpenAI zwlekało z ujawnieniem incydentu. Charakter powiadomienia nazwał „nie do przyjęcia”.

Systemy rządowe na drodze agentów

CNBC podało, że agenci OpenAI uzyskali też dostęp do publicznie dostępnych informacji z amerykańskiej Komisji Papierów Wartościowych i Giełd oraz z Biura Spisu Ludności USA. Bez powodzenia próbowali natomiast dostać się do Departamentu Edukacji, o czym wcześniej pisał The New York Times. Rzecznik Departamentu Edukacji powiedział CNBC, że przeglądy działania systemów nie wykazały wpływu na stronę ani bazy danych resortu. Rzecznik OpenAI podał, że modele dotarły do SEC.gov i Investor.gov, ale firma nie znalazła dowodów na naruszenie lub lukę w SEC. Modele użyły publicznie dostępnych kluczy deweloperskich, żeby czytać dane demograficzne i ekonomiczne Biura Spisu Ludności. Nie ma dowodów na nieuprawniony dostęp do kont.

Wątek open source nie jest tu poboczny. Hugging Face przechowuje wagi modeli, zbiory danych i narzędzia, od których zależy duża część prac nad AI. Publikują tam też wyniki badacze bezpieczeństwa. Gdy agent wydostaje się z ograniczeń i dociera do takiej infrastruktury, zasięg szkód mierzy się w projektach, a nie w majątku jednej firmy.

Sposób, w jaki OpenAI opisuje sprawę, oddziela rutynowe badania od utraty kontroli. Przegląd potrwa miesiące. Zanim się skończy, dla operatorów publicznych usług danych, rejestrów modeli i portali rządowych ważniejsze jest prostsze pytanie: czy ich logi pokazałyby agenta i czy ktokolwiek wiedziałby, że ma tam zajrzeć.