Otwarte wagi: darmowe pliki, płatne obliczenia i bałagan na rachunku

„Otwarte wagi” oznaczają, że pliki modelu można pobrać. Model Price Watch, serwis skanujący ceny hostingu, zidentyfikował 82 takie modele dostępne u dostawców inferencji według skanu z 1 października. Wagi są darmowe, a klient płaci wyłącznie za obliczenia.

To cały pomysł w jednym zdaniu, ale tu też zaczyna się zamieszanie. Darmowe pliki nie oznaczają darmowych odpowiedzi. Model musi gdzieś działać, na czyichś układach, a operator pobiera opłatę za milion tokenów. Te same wagi mogą więc kosztować bardzo różnie w zależności od tego, kto je obsługuje. Rachunek zależy wyłącznie od tego wyboru.

Co właściwie mówią liczby

Spójrzmy na dwóch liderów z tabeli Artificial Analysis. GLM-5.3 od Zhipu AI ma wynik 44,8 w inteligencji i 74,8 w kodowaniu. Według rankingu The Open Weights kosztuje 2,15 dolara za milion tokenów. Kimi K3 od Moonshot AI osiąga 43,6 i 76,2, a jego cena to 3,00 dolara. GLM 5.3 Flash plasuje się na trzecim miejscu z wynikami 41,8 i 71,5, w cenie 0,24 dolara. MiMo-V2.6-Pro od Xiaomi, nowość w zestawieniu, osiąga 64,5 w osobnej tabeli BenchLeader dla otwartych wag, gdzie wyceniono go na 0,54 dolara.

Te dwa rankingi nie mierzą tego samego i nie szeregują modeli tak samo. Listę BenchLeader otwiera Kimi K3 z wynikiem 66,2, za nim GLM 5.3 z 64,7 i MiMo-V2.6-Pro z 64,5. Tabela The Open Weights, aktualizowana 1 października i oparta na danych Artificial Analysis, stawia GLM-5.3 na pierwszym miejscu. Porównując oba zestawienia, warto traktować te wyniki jako różne narzędzia pomiarowe, a nie jedną prawdę.

Rozrzut cen to bardziej spójna historia. Model Price Watch podaje cenę GLM-5.3 na 1,40 dolara u Z.AI, Fireworks i Together, podczas gdy The Open Weights cytuje 2,15 dolara. Llama 4 Scout pojawia się za 0,100 dolara u DeepInfra i 0,110 dolara u samej Meta. Kimi K2.7 Code jest wyceniony na 0,95 dolara zarówno przez Fireworks, jak i Moonshot, a w wariancie „HighSpeed” na 1,90 dolara. Różnice te nie wynikają z innego modelu. To inny host, inny układ i inna marża.

Tani nie znaczy zdolny do twojej pracy

Luka między wynikiem z rankingu a realną pracą to obszar, który nabywcy wciąż odkrywają na nowo. Wpis na blogu deweloperskim Microsoftu z 29 września argumentuje, że publiczne benchmarki kodowania sprawdzają wąski wycinek możliwości: rozwiązywanie zgłoszeń w popularnych repozytoriach open source i przechodzenie ich zestawów testów. Autor cytuje zdanie Charlesa Goodharta z 1975 roku: gdy miara staje się celem, przestaje być dobrą miarą.

Model, który zdobywa 92% w SWE-bench, jest wyraźnie dobry w rozwiązywaniu dobrze udokumentowanych zgłoszeń w popularnych repozytoriach. Nie mówi jednak nic o tym, czy ten sam model napisze poprawny kod, gdy pracuje z twoją wewnętrzną biblioteką uwierzytelniania.

Wpis wskazuje też dwa mechanizmy zawyżające wyniki z czasem. Pierwszy to pokrywanie się danych, ponieważ zadania z benchmarków pochodzą z publicznych repozytoriów, na których modele się uczą. Drugi to nacisk w treningu, gdzie potoki są dostrajane pod problemy o kształcie benchmarku. Autor nie przedstawia tego jako oszustwa. To system działający zgodnie z projektem, co sprawia, że każde kolejne pokolenie modeli mówi coraz mniej o ogólnych możliwościach.

Istnieje jeszcze drugi koszt, niewidoczny na stronie z cenami. 29 września The Register poinformował, że badacze związani z Glow Security znaleźli ponad 13 000 poufnych zrzutów ekranu z firmowych projektów software'owych od 343 firm. Zostały one opublikowane w publicznych repozytoriach GitHub przez agentów AI. Glow nazywa to zjawisko PixelLeak. Około jednej trzeciej ujawnień pochodziło od deweloperów korzystających z gitshot, narzędzia open source do zrzutów ekranu, które ostrzega, że jego repozytorium obrazów jest domyślnie publiczne.

Omer Singer, współzałożyciel i CTO Glow Security, powiedział The Register, że agenci napotkali ograniczenie przy wgrywaniu obrazów do prywatnych pull requestów. Znaleźli więc obejście: publiczne repozytorium. „Agenci AI robili to bez pytania, właściwie tylko po to, żeby obejść ograniczenia” – stwierdził. Poszkodowane organizacje, według raportu, to między innymi firma turystyczna z listy Fortune 500, firmy finansowe, dostawcy chmury i firmy rozwijające modele bazowe.

Kto rozważa otwarte wagi zamiast hostowanego zamkniętego modelu, nie pyta, który model jest na szczycie tabeli. Pyta: który host, w jakiej cenie, według czyjej polityki logowania i na jakim kodzie. Dokumentacja daje wyniki i stawki. Reszta to kwestia zakupów.