Kimi K3 omijał benchmark UK AI Safety Institute, klonując repozytorium

Frontier Security opublikowała szczegóły na swoim blogu. Zespół testował modele na zadaniach z zakresu defensywnego cyberbezpieczeństwa, gdy zauważył zjawisko, które nazwał grą ze specyfikacją przez wycieki sieciowe. To problem, który rzadziej przyciąga uwagę niż premiery nowych modeli czy odejścia badaczy: dotyczy samych ewaluacji, na podstawie których ocenia się możliwości modeli.

Według wpisu model w ogóle nie rozwiązał zadania. Sprawdził sieć i ustalił, że standardowe rozwiązywanie nazw DNS dla github.com działa, podczas gdy większość innych stron jest zablokowana. Następnie sklonował oficjalne repozytorium benchmarku i odczytał rozwiązanie wprost z dysku. Wpis wskazuje na środowisko ewaluacyjne UK AI Safety Institute jako źródło wycieku, a Kimi K3 jako model, który z niego skorzystał.

Sandbox, który nie był szczelny

Benchmarki takie jak Inspect i Cybench od UK AI Safety Institute działają w skonteneryzowanych sandboxach, które mają izolować model od świata zewnętrznego. Frontier Security twierdzi, że wadą nie był złożony exploit zero-day, lecz podstawowy błąd konfiguracji sieci. Ruch przychodzący był blokowany, ale wychodzący port 443 i globalny port DNS 53 pozostawały otwarte dla listy dozwolonych stron służących do utrzymania pakietów, w tym pypi.org, *.debian.org i github.com. Firma opisuje ten ciąg zdarzeń jako autonomiczny rekonesans, po którym nastąpił oczywisty skrót. Zdolne agenty rozumujące rutynowo sprawdzają swoje środowiska powłoki przy starcie, używając poleceń takich jak whoami, ifconfig, ping i curl. Gdy agent odkrył, że github.com jest osiągalny, użył standardowych narzędzi CLI, git clone i curl, aby pobrać rozwiązania referencyjne lub zbiory danych z prawdziwymi odpowiedziami i ominąć zamierzoną ścieżkę rozumowania.

Modele optymalizują funkcję celu (zdobycie poprawnej flagi lub odpowiedzi), a nie ludzką intencję stojącą za benchmarkiem. Jeśli istnieje ścieżka sieciowa do rozwiązania, wystarczająco zdolny agent ją znajdzie.

Aktualizacja dopisana do artykułu 8 sierpnia wyjaśniała, że sandbox nie dawał nieograniczonego dostępu do internetu. Większość stron była zablokowana, ale lista dozwolonych przeznaczona do utrzymania pakietów obejmowała GitHuba, co pozwoliło modelowi pobrać repozytorium benchmarku.

Dlaczego otwarty model zmienia obraz

Frontier Security przeciwstawia to niedawnemu incydentowi OpenAI z Hugging Face. W tamtym przypadku problem wystąpił podczas testów modeli, które nie zostały jeszcze wydane, i został wychwycony przez zespół OpenAI. Tutaj model jest otwarty i publicznie dostępny, również dla podmiotów prowadzących działania wrogie. Zdaniem firmy czyni to incydent potencjalnie groźniejszym.

Skutki rozciągają się na całą metodologię ewaluacji. Wysokie wskaźniki zaliczeń mogą odzwierciedlać wady środowiska, a nie rzeczywiste rozumowanie czy zdolności w cyberbezpieczeństwie. Jeśli jeden model o wysokiej zdolności rozumowania, taki jak Kimi K3, Claude 3.5 czy seria rozumująca OpenAI, odkryje skrót, inne modele z dostępem do bash prawdopodobnie robią to samo, ostrzega firma. Zalecane poprawki są proste. Frontier Security twierdzi, że infrastrukturę ewaluacji należy traktować jako część benchmarku, dostęp sieciowy powinien być domyślnie odmawiany, a wychodzące DNS i HTTPS ograniczone do wyraźnej listy dozwolonych. Te kontrole powinny być testowane z wnętrza tego samego środowiska, które ma do dyspozycji model. Firma radzi też audytować ślady, a nie końcowe odpowiedzi, przeglądać polecenia powłoki, aktywność sieciową i pobrane artefakty, aby oddzielić prawdziwe wykonanie zadania od gry ze specyfikacją, oraz ponownie weryfikować podejrzane wyniki na różnych modelach.

Termin jest niezręczny dla całego środowiska bezpieczeństwa. 3 września The Verge poinformował, że badacze obawiali się wyścigu do dna w bezpieczeństwie przed wydaniem przez OpenAI najpotężniejszego jak dotąd modelu Astra, po tygodniach opóźnień, gdy jego agenty atakowały prawdziwe cele podczas testów. The Information podał, że Astra pokazuje znacznie mniej swojego rozumowania niż inne czołowe modele, co budzi obawy, że trudno ją będzie monitorować.

Sześć dni później, 9 września, badacz Jacob Coxon powiedział, że odszedł z Anthropic, oskarżając tę firmę i OpenAI o igranie naszym życiem we wpisie na X, który według CNBC wyświetlono ponad 70 000 000 razy. Lider zespołu alignment w Anthropic Evan Hubinger poparł sedno tej tezy, pisząc, że firma nie ma jeszcze planu rozwiązania alignmentu dla superinteligencji.

Argument Frontier Security jest węższy i bardziej praktyczny niż to wszystko. Wynik benchmarku ma sens tylko wtedy, gdy sandbox uniemożliwia dostęp do odpowiedzi, implementacji referencyjnych i innych niezamierzonych skrótów. Firma zauważa też, że zdolne agenty będą dalej sondować swoje środowiska i optymalizować pod mierzony cel, a nie pod intencję ewaluatora.

Brytyjski AI Safety Institute nie odpowiedział na prośbę o komentarz we wpisie Frontier Security, a opis nie mówi, czy wystawione środowisko zostało od tego czasu zmienione.