Małe modele lokalnie: nowe narzędzia i 501 mld otwartych wag dla AI na urządzeniach

Reflection 5 października zaprezentowało Beam, swój pierwszy model z otwartymi wagami.

Architektura rzadkiego Mixture-of-Experts liczy 501 000 000 000 parametrów całkowitych, z czego 23 000 000 000 jest aktywnych. Model przeznaczono do kodowania, rozumowania i zadań agentic. Według bloga firmy, Beam przeszkolono na 23 800 000 000 000 tokenach. Intensywny trening z uczeniem z wzmocnieniem wygenerował ponad 100 000 000 rolloutów na 10 500 GPU NVIDIA GB300 w ciągu czterech tygodni.

Przypadek dla lokalnej inferencji

Beam stawia na efektywność inferencji, a nie na surowy rozmiar.

Firma twierdzi, że osiąga wyniki porównywalne z GLM-5.2, zużywając 3 do 4 razy mniej mocy obliczeniowej. W zadaniach kodowych zbliża się do Qwen 3.8-Max. Modele frontier, takie jak Kimi K3, wciąż wyprzedzają go w surowej wydajności, ale przewagą Beam jest koszt za token. Wagi nie są jeszcze publicznie dostępne; trwają ostatnie testy red-teaming. Reflection planuje udostępnienie wag, raportu technicznego i karty modelu pod koniec tego miesiąca.

To wydanie zbiega się z falą narzędzi, które sprawiają, że naprawdę małe modele, czyli te w zakresie 8B do 35B, stają się praktyczne do codziennego rozwoju. Trend dotyczy nie tylko oszczędności. Chodzi o latencję, prywatność i uruchamianie agentów na sprzęcie, który sami posiadamy.

Narzędzia naprawiające doświadczenie z małymi modelami

Reika to agent kodujący CLI zaprojektowany z myślą o małych modelach lokalnych. Docelowo obsługuje modele 8B do 35B, często skwantyzowane do Q2-Q4, z oknami kontekstu 16 000 do 32 000. README, opublikowane 5 października, podkreśla, że harness dba o kontekst i łagodniej radzi sobie z błędami. Mówi, gdy utknął. Projekt ma status pre-1.0, więc komendy i ustawienia mogą się zmieniać. W testach modele 14B do 35B najpewniej radziły sobie z zadaniami wieloplikowymi. Modele 8B do 9B ogarniały proste, dobrze określone zadania. Poniżej 7B rzadko dochodziły do celu.

Deweloperzy opublikowali swoje ustalenia w docs/findings.md.

Jedna przebudowa w środku kontekstu przetworzyła 8 453 tokeny promptu, co kosztowało 7,9 minuty prefill. Dodanie w tej samej sesji kosztowało 25 tokenów i 3,5 sekundy. Własne zarządzanie kontekstem przez harness kosztowało więcej niż sam model. Stwierdzono też, że sformułowanie promptu to najsłabszy element sterowania. Przy niejasnym zadaniu na Q2 model konwerguje lub wkręca się w błędy mniej więcej 50/50, a harness nie może zmienić tego wskaźnika. Może jedynie obniżyć koszt tej nieudanej połowy.

Jeff-Code idzie inną drogą. To fork Pi, agenta kodującego autorstwa Mario Zechnera. Umieszcza Jeffa, model decyzyjny o 0,8B, w pętli agenta. Wokół każdej tury Qwen, Jeff podejmuje dwie szybkie decyzje po około 0,2 sekundy. Decyduje, czy może sam wykonać następny krok, np. odczytać plik lub uruchomić testy. Pisanie i edycja plików zawsze pozostają przy większym modelu. Decyduje też, czy Qwen musi intensywnie myśleć. Myślenie pozostaje wyłączone, dopóki prawdopodobieństwo, że tura wymaga pełnego myślenia, nie osiągnie 0,6. W ewaluacji około trzy czwarte tur Qwen działało z wyłączonym myśleniem.

Wyniki są konkretne. W zadaniach parowych Jeff-Code osiągnął 62,4% pass rate wobec 62,8% dla samego Qwen 3.8-27B. Różnica parowa wyniosła minus 0,2 punktu, z przedziałem 95% od minus 2,6 do plus 2,1. Czas na zadanie spadł do 0,68 razy wartości bazowej. Łączny czas dla wszystkich zadań to 0,86 razy. To przyspieszenie o 47%, czyli o 32% mniej czasu, przy tym samym pass rate. Przyspieszenie jest mniej wyraźne na Terminal-Bench 2.0, gdzie współczynnik wyniósł 0,96.

Modele decyzyjne i nowa architektura

Liquid AI wprowadziło d1, swój pierwszy model decyzyjny, obsługujący teraz tekst i obrazy.

Model decyzyjny odpowiada na pytania o sytuację, przydzielając prawdopodobieństwo każdej możliwej odpowiedzi. Bierze niesformatowane dane i jedno lub więcej pytań jako wejście, odczytuje je w jednym przepływie do przodu i zwraca prawdopodobieństwa bez generowania tokenów. Decyzja tekstowa zajmuje 200 do 300 milisekund. Liquid AI przetestowało d1 na GPT-6.1 Sol i Claude Opus 5.5 w sześciu realnych aplikacjach. d1 dorównuje lub przewyższa GPT-6.1 Sol w czterech z nich. Kosztuje 19 do 200 razy mniej niż oba modele i odpowiada znacznie szybciej w każdym zadaniu.

Sean Goedecke, który pisał o modelu System One Jev, argumentuje, że takie modele mogą trenować własne zamienniki. Gdy jesteś zadowolony z działania klasyfikatora Jev, możesz zgromadzić jego dane wejściowe i wyjściowe. Możesz wtedy wytrenować specyficzny, ręcznie zbudowany klasyfikator na tych danych. Nie będzie to klasyfikator uniwersalny, ale powinien dobrze radzić sobie z konkretnym zadaniem i działać znacznie szybciej. Ten wzorzec, destylacja ogólnego modelu system one do wyspecjalizowanego klasyfikatora, prawdopodobnie stanie się powszechny.

Interfaze AI wydało Interfaze 1 Lite, model mieszany architektur dla zadań deweloperskich. To nie jedna sieć. To rdzeń rozumowania plus specjaliści, z których każdy wybrany do zadania, w którym jest najlepszy. Cały model działa na jednej karcie GPU 80 GB bez usług zewnętrznych. Obsługuje rozumienie dokumentów, transkrypcję mowy, wizualne osadzanie i strukturalne wyjście. Nagranie 95-minutowe transkrybuje się w około 90 sekund. Wspiera 14 języków do wielojęzycznego rozumowania z kontekstem 131 000 tokenów. Osiąga 83,8 w olmOCR-Bench i 81,5 w Structured Output Benchmark.

Inferencja na urządzeniu i prywatność

Dążenie do lokalnych modeli to nie tylko wydajność. Chodzi o to, by dane zostawały na urządzeniu.

Dictate to aplikacja do głosowych notatek na iPhone i Apple Watch, działająca całkowicie na urządzeniu. Używa Parakeet, otwartego modelu mowy, do transkrypcji 25 języków europejskich. Apple Intelligence tworzy wersję do czytania na iPhone, usuwając słowa wypełniacze i rozstrzygając mowne korekty. Audio nigdy nie opuszcza telefonu. Nie ma serwera, konta ani analityki. Jedyne miejsce, gdzie może trafić transkrypcja, to webhook zdefiniowany przez użytkownika, jeśli jest włączony.

JeffyClassify oferuje klasyfikatory tekstu w 51 językach działające na CPU. Wielojęzyczne klasyfikatory używają wielojęzycznego enkodera zdań. Każdy klasyfikator ma około 100 KB. Enkoder jest współdzielony. Były trenowane na Amazon MASSIVE w 22 minuty na CPU. Istnieją też wyspecjalizowane klasyfikatory do zadań, takich jak wykrywanie spamu SMS, które osiąga 99,1% dokładności, oraz klasyfikacja rozgrywki w Doom w czasie rzeczywistym z użyciem regresji logistycznej, bez sieci neuronowej ani GPU.

Kontekst i tło

Te rozwijania wpisują się w szerszą zmianę. Python Language Summit w 2026 roku omawiało Rust dla CPython, projekt mający poprawić wydajność i bezpieczeństwo. David Hewitt, działający jako ambasador projektu, zauważył, że liczba problemów z typami-crash w CPython systematycznie rośnie. Rust mógłby pomóc to złagodzić. Propozycja brzmi, by poprosić dystrybutorów Pythona o próbę użycia opcjonalnego wsparcia Rust w Pythonie 3.16, oczekiwanym w 2 027 roku. Ta praca nad infrastrukturą techniczną wspiera ekosystem, na którym opierają się małe modele.

Tymczasem badanie z UC Riverside prowadzone przez Heta Patela wykazało, że pewność i poprawność w dużych modelach językowych pochodzą z różnych wewnętrznych cech. To podważa założenie, że pewność modelu to wiarygodny wskaźnik dokładności. Identyfikując te cechy, badacze mogą dostosować modele, by były ostrożniejsze, gdy są prawdopodobnie w błędzie. To krok w kierunku uczynienia małych, lokalnych modeli bardziej godnymi zaufania w rolach decyzyjnych.

Społeczność open source również reaguje na nowe modele wideo. MiniMax opublikowało wagi modelu H3 3 sierpnia. Trzy dni później znalazło się na szczycie listy trendujących na Hugging Face. Choć H3 to model wideo, jego wydanie podkreśliło wartość otwartych wag w ekosystemie AI. Deweloperzy mogą pobrać, wdrożyć, skwantyzować i zmodyfikować model. Ten duch otwartego dostępu sprawia, że obecna fala małych, lokalnych i on-device modeli jest możliwa.

Dla deweloperów wybór jest jasny. Jeśli potrzebujesz możliwości frontier, używasz dużych, hostowanych modeli. Jeśli potrzebujesz prędkości, prywatności lub kontroli kosztów, używasz małych, lokalnych. Narzędzia, które czynią drugą opcję wykonalną, w końcu nadchodzą.