Otwarte wagi, zamknięte recepty: co cztery raporty mówią o modelach, które można pobrać

Argument za otwartymi wagami zawsze opierał się na obietnicy: masz plik, więc masz kontrolę. Cztery dokumenty opublikowane między majem a wrześniem 2026 testują, ile z tej obietnicy przetrwa kontakt z pomiarem. Nie zgadzają się w wielu kwestiach. Zgadzają się w tym, że „otwarte” robi mniej pracy, niż zakładają nagłówki.

Wartość czterech miesięcy i to, co ukrywa

Mozilla opublikowała wersję 1.1 raportu State of Open Source AI 15 września, używając danych aktualnych do 1 września, według Tom's Hardware. Główny wniosek: najlepszy otwarty model ustępował zamkniętemu liderowi o trzy punkty na Artificial Analysis Intelligence Index przy 60% ceny i o dwa punkty za Claude Fable 5 przy 30% ceny. Szacunki Mozilli na danych METR o horyzoncie zadań umieszczają lukę otwarto-zamkniętą na około 4,4 miesiąca, co zgadza się z czteromiesięcznym szacunkiem Epoch AI.

METR ocenia modele według długości zadań, mierzonych w czasie pracy człowieka, które model wykonuje z prawdopodobieństwem 50%. Według oszacowania Mozilli, zamknięte modele radzą sobie z zadaniami wymagającymi od ekspertów 8 do 12 godzin. Otwarte modele osiągają ten poziom około cztery miesiące później, a ich zdolność podwaja się co 3,9 miesiąca, w porównaniu z 5,5 miesiąca dla modeli zamkniętych, jak oblicza Mozilla. Tom's Hardware zwraca uwagę na zastrzeżenie, które sama Mozilla podaje: wartość czterech miesięcy i 30% ceny za tokeny są mierzone API do API na hostowanych endpointach, w cenie katalogowej.

Wykres sprzętowy jest tym niewygodnym

W tym samym raporcie znajduje się wykres, który nieprzyjemnie kontrastuje z głównym wnioskiem. Najlepszy otwarty model mieszczący się na jednym serwerze uzyskuje wynik 52,6, a najlepszy mieszczący się na jednej karcie GPU uzyskuje 40. Spadek od szczytu wynosi odpowiednio 10 i 23 punkty, co jest większą luką niż cztery miesiące postępu w zdolnościach.

Natywny checkpoint Kimi K3 w formacie MXFP4 ma około 1,56TB w 96 częściach, a konfiguracja serwowania Mozilli wymienia 64 lub więcej akceleratorów, podczas gdy vLLM wymaga co najmniej ośmiu GPU GB300, z wieloma węzłami dla ruchu produkcyjnego. Własne sformułowanie raportu brzmi: to jest otwarte, ale nie do uruchomienia przez większość tych, którzy je posiadają. Tom's Hardware oszacował potrzebę pamięci na około 1,5TB w lipcu. Są wyjątki. Inkling-Small od Thinking Machines, na licencji Apache 2.0, ma wersję NVFP4, która mieści się na jednym B300 przy progu 180GB. To prawdziwy punkt danych, i to jeden model.

Otwarte wagi to nie open source, i różnica ma znaczenie

Open Source Initiative jasno rozróżniła te pojęcia w poście z 19 września. Modele AI mają trzy główne komponenty: dane treningowe, wagi i parametry oraz kod używany do przygotowania danych i treningu. Wydania otwartowagowe publikują wagi. Nie publikują reszty.

Otwarte wagi pozwalają wykonywać pewne wolności, ale nie wszystkie, i tylko w pewnym stopniu. Prawdziwy Open Source AI pozwala wykonywać wszystkie cztery bez ograniczeń.

Cztery wolności, o które tu chodzi, to używanie, badanie, modyfikowanie i udostępnianie bez proszenia o pozwolenie od właściciela praw. OSI wycenia wartość popytową ekosystemu Open Source na 8 800 000 000 000 dolarów i argumentuje, że modele otwartowagowe ograniczają modyfikację i uniemożliwiają pełne badanie, ponieważ bez kodu i danych treningowych nie można sprawdzić, dlaczego model wygenerował dane wyjściowe. Raport Mozilli, według Tom's Hardware, liczy 16 znaczących otwartych wydań, z których żadne nie dostarcza recepty na dane wymaganej przez definicję Open Source Initiative.

Czego badanie memorizacji dodaje do sporów o prawa autorskie

Artykuł na arXiv, po raz pierwszy wysłany 18 maja 2025 i zrewidowany do 20 lipca 2026, mierzy, ile z 200 książek 14 otwartych modeli LLM faktycznie zapamiętuje. Autorami są A. Feder Cooper, Mark A. Lemley, Allison Casasola, Ahmed Ahmed, Aaron Gokaslan, Amy B. Cyphert, Christopher De Sa, Daniel E. Ho i Percy Liang.

Ich ujęcie jest celowane: pozew i pozwanym w sprawach o prawa autorskie w AI generatywnej stawiają szerokie, sprzeczne twierdzenia o memorizacji, a oba stanowiska, jak mówi artykuł, dramatycznie upraszczają związek między memorizacją a prawami autorskimi. W ponad 3 000 eksperymentach autorzy stwierdzają, że większość LLM nie zapamiętuje większości książek, ani w całości, ani w części. Ale wyjątki mają znaczenie. Llama 3.1 70B w pełni zapamiętuje niektóre książki, w tym Harry Potter i Kamień Filozoficzny, według artykułu. Memorizacja jest tam wystarczająco rozległa, że całą książkę można deterministycznie wyodrębnić niemal dosłownie, używając jej pierwszych kilku słów jako promptu. Autorzy stwierdzają, że wyniki mają istotne implikacje dla spraw o prawa autorskie, choć nie jednoznacznie na korzyść jednej ze stron.

Mniejsze, dziwniejsze wdrożenia

Nie każde otwartowagowe wydanie goni front. Superwhisper opublikowało S1-mini, normalizator tekstu o 0,6B parametrów, dostrojony z Qwen/Qwen3-0.6B, na licencji Apache 2.0 z klauzulą nazewniczą. Wykonuje jedną pracę: przepisuje surowe wyjście mowy na tekst jako czysty tekst pisany. Na zbiorze testowym 7 519 angielskich przypadków osiąga 94,8% dokładności tokenów, a wersja skwantyzowana to plik 462 MiB działający na procesorze laptopa. Karta modelu jest wprost: to nie jest model czatu i nie będzie wykonywać ogólnych instrukcji.

Karta modelu dokumentuje też dziwność rozliczeniową na Hub: pasek boczny raportuje 0,8B parametrów, ponieważ embedding o 155,6M parametrów jest liczone dwukrotnie, dając 751,6M elementów tensora w porównaniu z 596,0M unikalnymi parametrami. Układ jest dziedziczony z Qwen3-0.6B, który raportuje 0,8B na Hub z tego samego powodu.

Uzasadnienie jednego kupującego i jego granice

Raport wdrożenia autorstwa Jamesa Cruce, opublikowany 22 września, opisuje wybór Laya, otwartowagowego modelu decyzyjnego o 421M parametrach z enkoderem ModernBERT-large i limitem 1 024 tokenów, zamiast hostowanej usługi Jev od TypeSafe. Wydawca Laya trenował go na czterech syntetycznych przepływach: obserwowalność agentów, obsługa klienta, przetwarzanie faktur i incydenty bezpieczeństwa.

Cruce jest wprost o tym, co porównanie dowodzi. TypeSafe ceni Jev na 0,042 dolara za milion tokenów wejściowych bez opłaty za tokeny wyjściowe i wybory do 255 opcji. Laya działa na API tylko pętli zwrotnej na jego Mac Studio z M3 Ultra i 256 GB pamięci zunifikowanej, więc rutynowe decyzje nigdy nie opuszczają maszyny. Stwierdza wprost, że prywatność i kontrola były decydującymi powodami, a koszt był skutkiem ubocznym, bez podania liczby oszczędności. Nie testował, czy Laya pokonuje Jev w ogólności.

Flaguje też, że karta modelu ostrzega, iż Laya jest nadmiernie pewny siebie i potrzebuje kalibracji domenowej, oraz że wpisana odpowiedź może być strukturalnie perfekcyjna i faktycznie błędna. Jego wniosek jest wąski: traktuj go jako polecania wewnątrz programu, nigdy jako źródło pozwolenia lub prawdy.

Cztrzy raporty wskazują w tym samym kierunku, ale nie mówią tego samego

Cztery dokumenty wskazują w tym samym kierunku, nie mówiąc tego samego. Dane Mozilli mówią, że otwarte wagi są bliskie w zdolnościach i znacznie tańsze w cenie katalogowej hostowanej, podczas gdy jej własny wykres sprzętowy mówi, że modele na szczycie to nie to, co większość ludzi może uruchomić. OSI mówi, że etykieta jest rozciągana poza jej znaczenie. Artykuł o memorizacji mówi, że argumenty sądowe po obu stronach są zbyt szerokie w stosunku do tego, co pokazują eksperymenty. Relacja Cruce mówi, że decydujący powód wyboru otwartych wag może być kontrolą nad tym, gdzie trafiają dane, a nie pozycja w benchmarkach.

Podpis pod wykresem Mozilli brzmi: „luka resetuje się w każdym cyklu wydania”. Jej dane kończą się 1 września, a tablice na żywo się zmieniły. Artificial Analysis przeszedł na indeks v4.3 z innym zestawem oceniającym; tablica na żywo ma Claude Fable 5.1 na 53 w najwyższym ustawieniu wysiłku, z Kimi K3 na 44. Tablica Terminal-Bench 2.1 z vals.ai, zaktualizowana 11 września, jest prowadzona przez GPT-6 Astra na 87,27%, z Fable 5.1 na 85,02%.

Jeszcze jeden punkt pozostaje nierozwiązany w rekordzie. K3 niesie oskarżenie szczegółowo opisane w wspólnym zaleceniu NSA/CISA/FBI AA26-251A z 8 września, które raport Mozilli stwierdza jako „twierdzone, ale nieudowodnione”: że Moonshot wyekstrahował dane Claude Fable 5, aby trenować K3 przez destylację. 17 lipca Artificial Analysis miało K3 na 57 w porównaniu z 60 dla Fable 5. 1 września Mozilla miała go dwa punkty za. Czy to zawężenie wynikało z niezależnego treningu, czy z rzekomej ekstrakcji, to nie jest coś, co którykolwiek z tych czterech dokumentów ustala.