Google rozszerza on-device AI Edge o Gemma 3n, dodaje RAG i function calling

Google opublikowało szczegóły na blogu dla deweloperów, wraz z dwiema nowymi bibliotekami: jedną do on-device Retrieval Augmented Generation (RAG) i jedną do function calling. Obie trafią najpierw na Androida, inne platformy są w planach.

Google zakłada, że małe modele językowe (SLM) wyszły poza etap demonstracji. Blog, napisany przez starszego menedżera produktu Marka Sherwooda i czterech inżynierów, opisuje techników terenowych fotografujących część bez dostępu do serwisu, pracowników magazynu aktualizujących stan zapasów głosem oraz aplikację medyczną zamieniającą dyktowaną historię pacjenta na wypełnione pola formularza. Każdy przykład zakłada działanie modelu lokalnie, bez żądania do serwera. Podane przez Google liczby są konkretne. Gemma 3 1B, wprowadzona wcześniej w tym roku, ma 529MB i osiąga do 2 585 tokenów na sekundę podczas pre-fill na mobilnym GPU, co według firmy wystarcza do przetworzenia strony treści w mniej niż sekundę.

Mały rozmiar utrzymuje szeroki zakres obsługi urządzeń i ogranicza pobieranie, które aplikacja narzuca użytkownikowi.

Nowsza Gemma 3n pojawia się jako wczesny podgląd w wariantach 2B i 4B parametrów, obie natywne dla tekstu, obrazu, wideo i audio. Na Hugging Face dostępne są na razie tylko tekst i obraz; audio pojawi się wkrótce. Google wskazuje również na nowe schematy kwantyzacji, które zmniejszają rozmiar modelu o czynnik 2,5 do 4 razy w porównaniu z bf16, jednocześnie obniżając opóźnienia i szczytowe zużycie pamięci.

Apple i inni krążyli wokół tego samego problemu

Google nie jest pierwsze. Ars Technica raportowała 25 kwietnia 2024 roku, że Apple wydało osiem modeli z dostępem do kodu źródłowego pod nazwą OpenELM, o zakresie od 270 000 000 do 3 000 000 000 parametrów, wystarczająco małych, aby działać na smartfonie. Apple opublikowało wagi modeli, kod treningowy i odtwarzalne przepisy, choć licencja Apple Sample Code Code zawiera ograniczenia, które mogą nie spełniać ścisłej definicji open source. White paper Apple twierdził o 2,36-procentowej poprawie dokładności w porównaniu z OLMo 1B od Allen AI, przy użyciu połowy tokenów pre-trainingu, dzięki strategii skalowania warstwowego. Dla porównania, Ars Technica zauważyła, że największy wtedy model Llama 3 od Meta miał 70 000 000 000 parametrów, a GPT-3 od OpenAI z 2020 roku miał 175 000 000 000. Model o rozmiarze 529MB to zupełnie inna kategoria obiektu.

Odtwarzalność i transparentność dużych modeli językowych są kluczowe dla rozwoju otwartej nauki, zapewniają wiarygodność wyników i umożliwiają badania nad stronami i modelami uprzedzeń, a także potencjalnymi zagrożeniami.

Powyzsze pochodzi z abstraktu papieru Apple OpenELM. Firma ostrzegła również, że modele trenowane na publicznych zbiorach danych mogą generować nieprawidłowe, szkodliwe, stronnicze lub obraźliwe odpowiedzi.

Czego mówią badania o limitach

Papier z listopada 2024 roku na arXiv wprowadził SlimLM, serię modeli od 125M do 7B parametrów, dostrojonych do wsparcia dokumentów na Samsung Galaxy S24. Autorzy raportowali porównywalną lub lepszą wydajność w porównaniu z istniejącymi małymi modelami i wydali aplikację Android, zwracając uwagę, że przetwarzanie on-device może obniżyć koszty serwerowe i poprawić prywatność. Sam framing papieru mówi, że rzeczywista wydajność na telefonach pozostaje niedostatecznie zbadana.

Istnieje również bardziej niewygodne odkrycie. Osobny papier na arXiv autorstwa Prashanta Mudgala przetestował siedem podejść do pewności na 7 parach modeli i 5 benchmarkach i odkrył, że entropia na poziomie tokenów jest w zasadzie ślepa w modelach poniżej 3 miliardów parametrów: w 91 procentach kombinacji zbioru danych i modelu, średnia entropia tokenów była bliska zeru niezależnie od tego, czy odpowiedź była prawidłowa. Entropia semantyczna, obliczana przez pobieranie wielu odpowiedzi i grupowanie ich według znaczenia, odzyskała użyteczny sygnał. Przekazywanie niepewnych zapytań do większego modelu eksperckiego poprawiło dokładność nawet o 50 punktów procentowych, a routing między rodzinami modeli średnio dał +22,0 procent w porównaniu z +6,8 procent dla routingu w tej samej rodzinie.

Biblioteka function calling od Google robi podobne ustępstwo w praktyce. Blog zauważa, że można ją połączyć z biblioteką symulacji narzędzi Python, która generuje dane syntetyczne, aby poprawić dokładność function calling, co jest przyznaniem, że małe modele potrzebują pomocy, zanim można im zaufać w działaniu.

Google nie powiedziało, kiedy Gemma 3n opuści podgląd, ani które platformy osiągną jako następne biblioteki RAG i function calling.