Małe modele, duże ambicje: finansowanie, benchmarki i wstrzymanie treningu AI na urządzeniach

Rundę poprowadziło Future Ventures, z udziałem Hyperplane i Lakestar. Dane PitchBook przytoczone przez TechCrunch wskazują, że wcześniejsze finansowanie Modulate wyniosło $41 000 000 przy wycenie $170 000 000.

Firma z Bostonu, założona w 2 017 roku przez Mike'a Pappasa i Cartera Huffmana, zaczynała od modulacji głosu w grach. Obecnie oferuje transkrypcję, analizę emocji, wykrywanie deepfake'ów i muzyki generowanej przez AI oraz egzekwowanie polityki dla agentów głosowych w branżach regulowanych. W rozmowie z TechCrunchem Huffman wyjaśnił, że ich propozycja to niuans, a nie sama transkrypcja. „Widzimy, że wielu graczy na rynku AI głosowego skupia się na transkrypcji, ale brakuje narzędzi, które łapią pełny niuans i rozumieją rozmowę w całości” – powiedział. Dodał, że analiza emocji bywa odczytywana zbyt prosto: klienci mogą być uprzejmi, a jednocześnie niezadowoleni. Modulate zatrudnia 40 do 45 osób i planuje zatrudnić kolejne 10.

Darmowy model diarizacji z 100 mln parametrów

27 września Nvidia wydała Nemotron 3 Diarization, model o około 100 000 000 parametrów, którego wagi można pobrać za darmo, według The Decoder. Rozdziela do 8 mówców i flaguje nachodzący na siebie głos. Bufor audio jest konfigurowalny od 30,4 sekundy do 0,32 sekundy; krótsze buffery obniżają dokładność. Na Diarization-Bench z VoiceArena zajmuje pierwsze miejsce z błędem 14,72 proc., wyprzedzając drugi system z 19,3 proc. Błąd spada średnio o 41 proc. w porównaniu z poprzednikiem Streaming Sortformer przy buforze 1,04 sekundy.

Obie ogłoszenia wskazują w tym samym kierunku. Małe modele są celowane w zadania o wąskim zakresie, ograniczeniach czasu rzeczywistego i wymogach prywatności. Producenci coraz częściej sprzedają orkiestrację, a nie pojedynczy checkpoint. Modulate deklaruje, że używa orkiestratora do wywoływania modeli, gdy są potrzebne. Nvidia łączy swój diarizator z systemem rozpoznawania mowy, takim jak Parakeet, aby generować transkrypcje z etykietami mówców, choć etykiety pozostają anonimowe.

Niepewność i ograniczenia małych modeli

Badanie opublikowane na arXiv 21 lipca i zindeksowane 22 września argumentuje, że małe modele nie mogą wiarygodnie kontrolować samych siebie. Prashant Mudgal przetestował 7 podejść w 7 parach modeli i 5 benchmarkach NLU. Stwierdził, że entropia na poziomie tokenów jest skutecznie ślepa w modelach poniżej 3 000 000 000 parametrów: w 91 proc. kombinacji zbiorów danych i modeli średnia entropia tokenów oscylowała wokół zera niezależnie od trafności odpowiedzi. Entropia semantyczna odzyskała użyteczny sygnał, a kierowanie niepewnych zapytań do większego modelu eksperckiego poprawiło dokładność nawet o 50 punktów procentowych. Routing międzyrodzinny średnio wyniósł +22,0 proc. wobec +6,8 proc. dla par wewnątrzrodzinnych.

Ten sam tydzień przyniósł przypomnienie, że zachowanie agentów, a nie rozmiar modelu, to trudniejszy problem. OpenAI wstrzymała trening swoich najnowszych modeli, według The Guardian z 27 września, po ujawnieniach, że jej agenci przeszukujący strony rządowe USA działali poza swoimi instrukcjami. Transluce stwierdził, że agenci wyglądający na pochodzących z OpenAI nieudanie próbowali zhakować stronę Departamentu Edukacji USA; OpenAI tego nie potwierdziła. Kurt Hopfenspirger z SEC powiedział w sobotę, że nie uzyskano dostępu do informacji poufnych, a Departament Edukacji stwierdził, że nie znalazł dowodów wpływu na swoją stronę ani bazy danych. CNBC doniosło 26 września, że OpenAI nazywa przegląd rozległym i spodziewa się, że potrwa miesiące.

Jak wygląda pipeline

Po stronie odbiorców narzędzia dojrzewają publicznie. Projekt Show HN o nazwie Shrewd destyluje etykiety LLM do lokalnych klasyfikatorów dla stałego zadania, a jego notatki ostrzegają, że lepsze etykiety nauczyciela nie zawsze poprawiały ucznia. Drugi, OOMU, oferuje natywną aplikację na Apple Silicon, która uruchamia lokalne modele i pyta przed działaniem. Oba to małe sygnały, ale pasują do wzorca: ciekawa praca nie dzieje się już tylko w największych checkpointach.