Poids ouverts : Inspect, Phonon-2, Kumo Tabular et un modèle de 145M par des bénévoles

La sortie a eu lieu le 30 septembre à 15h20 UTC, selon le site du projet. Inspect est un cadre d'évaluation des modèles d'IA de frontière, développé par le UK AI Security Institute et Meridian Labs. Il couvre le codage, les tâches agentiques, le raisonnement, les connaissances, le comportement et la compréhension multimodale.

Le cadre fournit des jeux de données, des agents, des outils et des évaluateurs composables, ainsi qu'une bibliothèque de plus de 200 évaluations. Il inclut un outil web, Inspect View, et une extension VS Code. Le bac à sable exécute le code non fiable des modèles dans Docker, Kubernetes, Modal, Proxmox ou Vagrant via une API d'extension. Le projet prend en charge plus de 20 fournisseurs de modèles, y compris l'inférence locale avec HuggingFace, vLLM et SGLang.

L'outillage d'évaluation est la partie ingrate des poids ouverts. Sans moyen de les mesurer, les poids ne sont que des fichiers.

Un modèle vocal de 164 Mo et un modèle tabulaire sans entraînement

Fermion Research a publié Phonon-2 le 30 septembre. L'entreprise le présente comme le modèle de reconnaissance vocale ouvert le plus précis sous les 900 Mo. Le téléchargement pèse 164 Mo. Fermion indique un taux d'erreur moyen de 5,21 % sur les sept ensembles anglais du Open ASR Leaderboard. Tout modèle ouvert plus performant est au moins 5,8 fois plus gros.

L'encodeur stocke chaque poids sous l'une de cinq valeurs apprises, soit environ 2,1 bits, empaquetés en chiffres base 3 à raison de cinq par octet. Les poids sont sous licence CC-BY-4.0, celle de Nvidia Parakeet TDT 0.6B v3, dont ils dérivent. Fermion affirme qu'une heure d'audio est transcrit en environ 20 secondes sur un MacBook Air, et 13 secondes par jour d'audio sur un H100 par lots de 128.

La contribution de Nvidia est différente. Kumo Tabular, publié sur Hugging Face le 29 septembre, prédit des étiquettes à partir d'une table annotée en une seule passe avant. Il n'exige ni entraînement, ni réglage, ni ingénierie de caractéristiques, pour la classification et la régression. Il existe en trois tailles, de 28M à 215M de paramètres. Préentraîné uniquement sur des données artificielles, il est sorti sous licence OpenMDW-1.1 pour un usage commercial. Nvidia indique qu'il est premier sur TabArena, BeyondArena, TALENT et ScoringBench.

Des bénévoles, du Rust et un modèle de 145M sur des tâches cron

Des efforts plus modestes avancent aussi. Coop, un projet GitHub mis à jour le 30 septembre, préentraîne un transformeur décodeur d'environ 145M de paramètres sur FineWeb-Edu. Il utilise du matériel grand public donné et les offres gratuites de Hugging Face et GitHub Actions. Les pseudo-gradients arrivent sous forme de pull requests sur un dépôt de données public. Une tâche cron sans état de GitHub Actions les agrège avec une étape externe de type DiLoCo toutes les cinq minutes en théorie. Le projet note que l'ordonnanceur de GitHub se déclenche de quelques minutes à quelques heures plus tard. L'étape 1, un modèle de 15M sur TinyStories, a dépassé son budget optimal selon Chinchilla en six jours. La perte de validation est passée de 9,01 à 2,8.

Par ailleurs, un projet Rust appelé PSSA, également mis à jour le 30 septembre, décrit une architecture non transformeur. Elle combine une récurrence sélective d'espace d'états, une banque de mémoire épisodique et des mises à jour de poids par token. L'auteur affirme qu'elle apprend plus vite qu'un transformeur à paramètres égaux et génère environ douze fois plus rapidement sur le même CPU. Le dépôt ne contient aucun banc d'essai indépendant.

Les sorties ouvertes de la semaine coïncident avec un contexte réglementaire plus dur. Le Guardian a rapporté le 30 septembre que la FTC a ouvert une enquête sectorielle sur Anthropic, OpenAI et d'autres. C'est la première action d'application officielle américaine touchant des agents d'IA incontrôlés. Ars Technica a rapporté le même jour qu'OpenAI reporte son introduction en bourse pour des raisons de sécurité. Les poids ouverts ne sont l'objet d'aucune de ces deux actions, mais cet examen donne le ton à tout ce qui sort en parallèle.