Otwarte wagi wciąż lądują: model mowy 164 MB, wolontariacki trening 145M i chińska alternatywa dla CUDA

Nvidia umieściła Kumo Tabular na Hugging Face 29 września. Post z tego dnia, opublikowany na blogu 30 września, informuje, że model przewiduje etykiety dla nowych wierszy w jednym przebiegu propagacji w przód. Nie wymaga treningu, dostrajania ani inżynierii cech. Dostępny jest w trzech rozmiarach od 28M do 215M parametrów. Był pretrenowany wyłącznie na danych sztucznych i wydany na licencji OpenMDW-1.1 do użytku komercyjnego. Firma twierdzi, że zajmuje pierwsze miejsce w TabArena, BeyondArena, TALENT i ScoringBench.

To wąskie twierdzenie, które Nvidia sama zawęża: klasyfikacja i regresja tabelaryczna, czyli tabele z danymi klientów, transakcjami i zapisami z czujników. Chodzi o uczenie w kontekście zastosowane do wierszy, nie do tekstu. Model pretrenowany na milionach tabel czyta oznaczoną tabelę jako kontekst i zwraca prawdopodobieństwa klas albo 999 kwantyli dla regresji. Z tych danych wynikają przewidywanie punktowe i oszacowanie niepewności.

Fermion Research udostępniła Phonon-2 30 września, nazywając go najdokładniejszym otwartym modelem rozpoznawania mowy poniżej 900 MB.

Plik do pobrania ma 164 MB. Koder zapisuje każdą wagę na około 2,1 bita. Wagi są na licencji CC-BY-4.0, tej samej co Nvidia Parakeet TDT 0.6B v3, od którego się wywodzą. Fermion podaje 5,21% średniego współczynnika błędów słów w siedmiu angielskich zestawach Open ASR Leaderboard. Twierdzi też, że każdy otwarty model z lepszym wynikiem jest co najmniej 5,8 razy większy. Na MacBooku Air zamienia godzinę dźwięku w tekst w około 20 sekund. To liczby producenta z jego własnej strony, więc pozycję w rankingu traktuj jako deklarowaną, a nie potwierdzoną niezależnie.

Wolontariusze i bezstanowe zadanie cron

Także 30 września ruszył projekt na GitHubie o nazwie Coop z przebiegiem etapu 2. To trening od zera około 145-milionowego transformera z samym dekoderem na FineWeb-Edu. Całość odbywa się na oddanym sprzęcie konsumenckim oraz darmowych planach Hugging Face i GitHub Actions. Nie ma serwera ani demona. Workery pobierają punkt kontrolny, wykonują lokalne kroki AdamW na osobistym fragmencie danych i zgłaszają pseudo-gradient jako pull request do publicznego repozytorium zbioru danych.

Bezstanowe zadanie cron w GitHub Actions agreguje każdy takt. Odrzuca zbyt stare zgłoszenia, przycina i bramkuje kosinusowo pozostałe, a następnie je agreguje. Wykonuje jeden zewnętrzny krok Nesterowa i wgrywa nowy punkt kontrolny. Repozytorium twierdzi, że 15-milionowy model etapu 1 był pretrenowany ponad optymalny budżet Chinchilli na TinyStories w sześć dni. Strata walidacyjna spadła z 9,01 do 2,8. To dowód mechanizmu, nie konkurencyjny model.

Chiński wysiłek to większa historia strategiczna. Deepseek udostępnił otwartoźródłowe narzędzia programistyczne dla chipów Ascend Huawei. O tym poinformował na swoim kanale WeChat, co 30 września doniosły The Decoder i Reuters. Głównym elementem jest TileLang, otwartoźródłowy język pierwotnie rozwijany na Uniwersytecie Pekińskim. Według Deepseek oferuje prostszy model programowania niż CUDA. Huawei „w pełni wsparł” tę pracę, powiedział Deepseek. Obie firmy zoptymalizowały superwęzeł 128 chipów Ascend 950.

Kontekstem jest fosa deweloperska Nvidii: szacunkowo cztery miliony programistów CUDA. The Decoder cytuje też SemiAnalysis, które przetestowało chip wnioskowania OpenAI o nazwie Jalapeno. Nazwało fosę CUDA „potencjalnie martwą”, ostrzegając zarazem, że testowało tylko stosunkowo łatwe scenariusze około 8 000 tokenów wejściowych i 1 000 tokenów wyjściowych. Chipy Huawei nie były częścią tego porównania.

Regulatorzy działają, gdy wagi płyną

Nic z tego nie dzieje się w próżni. The Guardian doniósł 30 września, że FTC prowadzi branżowe śledztwo wobec Anthropic, OpenAI i innych laboratoriów. Planuje wymuszenie zeznań od kadry kierowniczej, w tym w Metr. Jako pierwszy podał to New York Post. OpenAI tymczasem wstrzymuje własne wejście na giełdę. Ars Technica doniósł 30 września, że Sam Altman nie upubliczni firmy, dopóki nie będzie mogła „podejmować pewnych decyzji o bezpieczeństwie”. Tego samego dnia LASST złożył pozew w Kalifornii.

Powyższe wydania otwartych wag są małe, tanie i konkretne. To wzorzec, któremu warto się przyglądać, nie tabele z rankingów.