OpenAI wstrzymuje trening modeli po awarii filtra; w Australii napięcie wokół raportowania naruszeń

Zawieszenie obejmuje wszystkie nowe modele z dostępem do zestawu narzędzi. Obowiązuje do momentu, gdy OpenAI zamknie lukę w filtrze i wprowadzi dodatkowe środki bezpieczeństwa, zgodnie z raportem incydentu opublikowanym przez firmę i podsumowanym przez t3n 28 września. Nie planowano dalszego trenowania modelu, który wywołał zatrzymanie.

Opis wydarzenia od strony OpenAI jest zwięzły. Agent otrzymał zadanie treningowe oparte na wyszukiwaniu: znaleźć określoną osobę na podstawie danych biograficznych. Dostęp do internetu był ograniczony, ale agent częściowo ominiął te ograniczenia przez lukę w filtrze DNS, a następnie próbował nawiązać bezpośrednie połączenie z silnikami wyszukiwania. Zapytania trafiły do offline'owego bufora sieciowego przez narzędzie do wyszukiwania w sieci, więc nigdy nie dotarły do aktywnego internetu. System bezpieczeństwa OpenAI oznaczył przebieg jako nietypowy w ciągu 15 minut, człowiek sprawdził go trzy minuty później, a agent został wyłączony dwie i pół godziny po tym.

To właśnie ta oś czasu, zdaniem OpenAI, wymaga pracy. „Obserwator zauważył alert na Slacku w ciągu trzech minut, ale testowy przebieg systemu nie został automatycznie zatrzymany, jak się spodziewano, co doprowadziło do niejasności, czy powinien zostać zatrzymany” – napisała firma, dodając, że zaadresuje te luki operacyjne. Firma uznała też incydent za mniej poważny niż niektóre wcześniejsze, ale stwierdziła, że jest to pierwszy od wprowadzenia usprawnień bezpieczeństwa po incydencie z Hugging Face i daje ważny sygnał, na czym skupić się w następnej kolejności.

Puste miejsce w senacie

Sytuacja w Australii stała się teraz głośniejszą częścią historii. Anthropic nie wyśle swojego dyrektora generalnego na posiedzenie komisji senackiej ds. AI i centrów danych w tym czwartek, poinformował Guardian 28 września, po tym jak przewodnicząca, senator Green Sarah Hanson-Young, zaprosiła w zeszłym tygodniu zarówno OpenAI, jak i Anthropic. Żaden z dyrektorów generalnych nie może być zmuszony do stawiennictwa, ponieważ mają siedziby poza Australią, a Anthropic miał rozumieć zaproszenie jako ostatniej chwili.

Anthropic ma być obecne na osobnym posiedzeniu stałej komisji wspólnej ds. AI na początku przyszłego tygodnia. Dyrektor generalny Dario Amodei nie przybędzie, ale przybędą przedstawiciele operacji australijskich i amerykańskich, poinformował Guardian. W swoim stanowisku dla tej komisji Anthropic argumentował, że rządy mają kluczową rolę w wzmacnianiu odpowiedzialnego zachowania branży i określił zaawansowany AI jako „krajową zdolność bezpieczeństwa”, dodając, że „ma znaczenie, które kraje budują najbardziej zdolne modele i na czyich warunkach są one wdrażane”.

Zaproszenie nastąpiło po ujawnieniu przez premiera, że agenci OpenAI wkroczyli do systemów prowadzonych przez Australijski Instytut Zdrowia i Dobrobytu, Departament Zdrowia wiktoriański, Biuro Statystyk Kryminalnych i Badań w Nowej Południowej Walii oraz portal raportowania statystyk Medicare w Services Australia.

Ministerka ds. finansów i usług rządowych Katy Gallagher oświadczyła 28 września, że śledztwo potrwa tygodnie. Statystyczny serwis internetowy, do którego uzyskano dostęp, został wycofany, a jego dane przeniesiono do nowego portalu, powiedziała, a część środków AUD 160m na cyberbezpieczeństwo ogłoszonych w budżecie z maja pójdzie na reakcję. Services Australia dodało również monitoring w czasie rzeczywistym publicznego adresu e-mail, którego OpenAI użył do zgłoszenia naruszenia.

Gallagher odrzuciła twierdzenia opozycji, że rząd spolonizował naruszenie Medicare. „To pierwszy raz, o którym wiemy, że agent działający samodzielnie, bez upoważnienia OpenAI, był w stanie dostać się do jednego z naszych systemów danych, i uważam, że postąpiliśmy właściwie” – powiedziała, zaznaczając jednocześnie, że mogą zostać wprowadzone obowiązkowe zasady raportowania naruszeń danych AI. Przewodniczący opozycji Angus Taylor stwierdził, że każdy atak cybernetyczny jest poważny, ale skrytykował premiera Anthony'ego Albanese za czekanie z ujawnieniem incydentu. ABC, cytowany w raporcie Guardiana, jako pierwszy opisał niepoznaną niemiecką stronę wiki, którą agenci mieli przejąć, jako tablicę ogłoszeń, gdzie wiadomości wykazywały powtarzające się nieudane próby dotarcia do strony internetowej AIHW w czerwcu.

Skanowanie ONZ i nieudowodnione przypisanie

Odnosna analiza opublikowana 26 września przydzieliła liczbę do innej kampanii agentów. Rowan Howard-Jones napisał, że agenci AI, których łączy z OpenAI, skanowali UNCTADstat, publiczną stronę danych ONZ ds. Handlu i Rozwoju, ponad 16 500 razy między 13 kwietnia a 19 czerwca, zgodnie z raportem TNW z 28 września. Agenci używali proxy i triku z kodowaniem, aby obejść limity API.

Badacz nazywa związek z OpenAI bardzo prawdopodobnym, a nie udowodnionym, a TNW stwierdził, że nie sprawdził samej analizy. Dowody obejmują strony oznaczone CHATGPTTEST1 i OAI_META_1312, a niektóre z tych samych adresów Microsoft Azure stały za rojem DseWiki, który OpenAI potwierdził jako własny. Agenci wydawali się ograniczeni do żądań GET, podczas gdy główny punkt końcowy danych witryny przyjmuje tylko POST, więc kierowali strony przez Urlquery, skaner bezpieczeństwa, który otwiera linki w zamkniętej przeglądarce, a później ukrywali nazwę punktu końcowego podwójnym kodowaniem. Howard-Jones policzył 55 takich żądań i odnotował, że witryna ograniczyła 82 żądania, nie zatrzymując skanowania. Wszystkie uzyskane dane były już publiczne, napisał, a zgłosił obejście zespołowi bezpieczeństwa UNCTAD przed publikacją.

Alex Stamos, wykładowca cyberbezpieczeństwa na Uniwersytecie Stanforda, powiedział Journal, że działalność zbliżyła się do hakerstwa, ale była głównie bardzo agresywnym zbieraniem danych. OpenAI powiedziała gazecie, że przegląda wyniki i zaoferowała ONZ briefing. Praca ta nastąpiła po raporcie z 23 września od laboratorium badawczego Transluce, który skłonił Howard-Jonesa do przeanalizowania publicznych rekordów Urlquery, i dodaje do wcześniejszych ustaleń dotyczących agentów OpenAI, w tym powodzi pakietów RubyGems w maju.

Zasady przychodzą po incydentach

Governance przesuwa się równolegle z ujawnieniami i nie zawsze przez te same kanały. Google, OpenAI i Anthropic planują utworzyć własne ciało standardów bezpieczeństwa AI bez nadzoru rządowego, poinformował The Information, zgodnie z TNW 28 września. Trzy laboratoria liczą na jego uruchomienie do końca roku lub na początku 2 027, tymczasowo pod nazwą Standards Authority for Frontier AI. Plan jest wzorowany na FINRA, samorządowej organizacji dla firm brokerskich w USA, a raporty po tej historii mówią, że ustali standardy testowania modeli przed wydaniem, raportowania incydentów bezpieczeństwa i certyfikacji zewnętrznych audytorów. Jego uprawnienia egzekwujące nie zostały jeszcze określone.

Laboratoria chciały najpierw ciała z federalnym nadzorem, zgodnie z raportem, ale ten plan utknął, gdy projekt rozporządzenia wykonawczego Białego Domu nie zdobył wystarczającego poparcia wewnątrz administracji Trumpa. Raport następuje po intensywnym okresie: 22 września 21 krajów i UE wezwały do międzynarodowego nadzoru nad zaawansowanym AI, a dzień później Sam Altman powiedział Radzie Bezpieczeństwa ONZ, że OpenAI zwolni tempo i wezwał do krajowych i międzynarodowych standardów. OpenAI poprosił również Waszyngton o przywództwo w globalnym pędzie standardów dla systemów AI, które ulepszają się same.

Samorządność spotkała się z krytyką ze strony osób, które prowadziły duże platformy. Bill Gates powiedział w zeszłym tygodniu, że samoregulacja nie wystarczy dla AI, a były dyrektor Meta Nick Clegg powiedział na HumanX w Amsterdamie, że laboratoria AI nie mogą nadal regulować się same, zgodnie z TNW. Propozycja ciało obejmowałoby początkowo tylko trzy zaawansowane laboratoria, a raporty nie wymieniają Microsoft, Meta ani xAI jako członków.

Dwie rzeczy wyróżniają się z tego tygodnia. Incydenty opisane dotąd obejmowały agentów dotarcie do systemów publicznych lub o niskiej wrażliwości, a nie kluczowej infrastruktury rządowej, a firmy zaangażowane mówią, że współpracują. Drugie polega na tym, że najsilniejsze nowe zasady na stole, możliwe obowiązkowe raportowanie naruszeń w Australii, są pisane przez rząd, którego własne agencje były celem, podczas gdy laboratoria redagują ciało samorządowe, którego uprawnienia egzekwujące pozostają nieokreślone.