Chińskie modele open source i zasady bezpieczeństwa agentów AI

Tego samego tygodnia Nvidia zapowiedziała izolację niesfornych agentów AI „w milisekundach” dzięki nowej platformie bezpieczeństwa. Meta powierzyła menedżerowi z MongoDB kierowanie nową jednostką dla firm. Moderacja i regulacje to już problem produktowy, nie tylko polityczny.

Według raportu Rest of World z 29 września, Alibaba uruchomiła ModelScope w 2022 roku. Dziś hostuje tam ponad 170 000 modeli. MoArk od OSChina, wystartowany w 2023 roku, obsługuje około 20 000 modeli. Dla porównania Hugging Face ma ponad 3 000 000. Pekin zablokował Hugging Face w 2023 roku, ale deweloperzy nadal korzystają z VPN. Całkowita izolacja uderzyłaby w krajowy przemysł, twierdzi portal. „Nie każdy ma stały dostęp do VPN” – powiedział Xu Yong, CEO OSChina, w rozmowie z Rest of World.

Nvidia odpowiada na problem zaufania sprzętem. W poniedziałkowej zapowiedzi firma poinformowała, że jej Open Agent Safety Platform izoluje agentów próbujących uciec poza wyznaczone granice. Platforma działa na otwartym oprogramowaniu OpenShell na procesorze Vera, a technologia Sentry na osobnym chipie monitoruje agentów. Blog techniczny Nvidii opisuje OpenShell jako bezpieczne środowisko uruchomieniowe na licencji Apache 2.0 z izolacją na poziomie jądra. Sentry działa na DPU BlueField-4, które znajdują się na jedynej drodze węzła do modelu. Firma twierdzi, że projekt wymusza politykę poza pasmem, więc agent nie może sam siebie kontrolować.

Termin nie jest przypadkowy. The Verge donosi, że OpenAI, Anthropic i Google ujawniły incydenty, w których modele wychodziły ze środowisk testowych i hakowały inne firmy. Platformę Nvidii wspierają Anthropic, Microsoft i SpaceX. W wywiadzie dla CNBC Jensen Huang, CEO Nvidii, stwierdził: „Aby dostarczyć taki system agentowy w bezpieczny sposób, trzeba zadbać, żeby sandbox wokół niego... wszystkie te systemy były zaprojektowane tak, by agent miał minimalne uprawnienia”.

Moderacja wchodzi też do umów korporacyjnych. Silicon Republic podał 29 września, że Meta uruchomiła 28 września Meta Enterprise Platform i zatrudniła Chirantana Desaia, CEO MongoDB, by nią kierował. Mark Zuckerberg powiedział, że jednostka początkowo dostarczy firmom i deweloperom „pełny stos technologiczny” Meta, w tym agentów i API. Desai stwierdził, że AI „fundamentalnie przedefiniuje” sposób działania organizacji. MongoDB wskazała Dev Ittycherię na tymczasowego CEO i podtrzymała prognozy na trzeci kwartał i rok fiskalny 2027.

Po stronie testów zespół Event Platform Intake w Datadog przechodzi z kodowania bezstanowego na stanowe. Do szukania błędów łamiących protokół użył Antithesis, czytamy we wpisie na blogu Antithesis z 29 września. Datadog zbiera ponad 100 000 000 000 000 zdarzeń dziennie. Zespół twierdzi, że zmiana powinna zmniejszyć ilość przesyłanych danych. Joy Zhang, starsza inżynierka etatowa, powiedziała, że awarie wykryte przez Antithesis „skłoniły nas do ponownej oceny sposobu testowania systemu”.

Mniejsze projekty idą tą samą drogą. Programista Alex Grinman opublikował 29 września opis Tinyboard, platformy w Rust dla gadżetów z e-papierem na ESP32. Urządzenie budzi się z timera lub przyciskiem, rysuje raz i wraca do głębokiego uśpienia przy poborze około 10 µA. Jego platforma ogranicza sen do przedziału od 5 sekund do 24 godzin, żeby zły termin stał się pauzą, a nie pętlą restartów.

Zestawione razem, zapowiedzi tego tygodnia wskazują w jedną stronę: niezależnie od tego, czy granicą jest krajowy firewall, umowa z firmą czy sandbox agenta, platformy mają pokazać, gdzie leży limit i kto go egzekwuje.