开放权重接连落地:164 MB 语音模型、145M 参数志愿算力项目,以及中国的 CUDA 替代方案
英伟达 9 月 29 日在 Hugging Face 发布开放基础模型 Kumo Tabular,用于表格预测。次日,Fermion Research 放出 164 MB 的语音模型 Phonon-2。与此同时,美国联邦贸易委员会对 AI 实验室展开全行业调查,OpenAI 则搁置了自己的 IPO。

英伟达 9 月 29 日将 Kumo Tabular 上传至 Hugging Face。帖子日期为 9 月 29 日,9 月 30 日发布于博客。模型通过单次前向传播即可预测新行标签,无需训练、微调或特征工程。该模型提供 28M 至 215M 参数三种规格,仅使用合成数据预训练,采用 OpenMDW-1.1 许可证,允许商用。英伟达称其在 TabArena、BeyondArena、TALENT 和 ScoringBench 上均排名第一。
这一声明范围较窄,英伟达也将其限定在表格分类和回归领域,即存储客户记录、交易和传感器日志的表格。其核心是将上下文学习应用于行数据而非文本。模型在数百万张表格上预训练,读取带标签表格作为上下文后,返回类别概率;回归任务则返回 999 个分位数,进而得出点预测和不确定性估计。
Fermion Research 于 9 月 30 日发布 Phonon-2,称其为 900 MB 以下最准确的开放语音识别模型。
下载包大小 164 MB,编码器将每个权重存储为约 2.1 位。权重采用 CC-BY-4.0 许可证,源自英伟达 Parakeet TDT 0.6B v3。Fermion 报告,在 Open ASR Leaderboard 的七个英语数据集上,平均词错误率为 5.21 %。得分更高的开放模型体积至少是其 5.8 倍。在 MacBook Air 上,处理一小时音频生成文本约需 20 秒。这些是厂商数据,排行榜名次仅为声称,未经独立验证。
志愿者,以及一个无状态定时任务
9 月 30 日,GitHub 项目 Coop 上线第二阶段:一个约 145M 参数的纯解码器 Transformer,在 FineWeb-Edu 上从零预训练。算力完全来自捐赠的消费级硬件,以及 Hugging Face 和 GitHub Actions 的免费额度。没有服务器,也没有守护进程。工作节点下载检查点,在本地数据分片上执行 AdamW 步骤,并将伪梯度作为拉取请求提交至公共数据集仓库。
无状态的 GitHub Actions 定时任务负责每轮聚合:丢弃过期提交,对其余提交进行裁剪和余弦门控,聚合后执行一步 Nesterov 外层更新,最后上传新检查点。仓库称,一个 15M 参数的第一阶段模型在 TinyStories 上预训练超过 Chinchilla 最优预算,耗时六天,验证损失从 9.01 降至 2.8。这是机制验证,而非具有竞争力的模型。
中国的推进是更大的战略故事。据 The Decoder 和路透社 9 月 30 日报道,Deepseek 在其微信频道发帖,发布了面向华为昇腾芯片的开源编程工具。核心是 TileLang,一门最初由北京大学开发的开源语言。Deepseek 称其提供了比 CUDA 更简单的编程模型。Deepseek 表示华为“全力支持”这项工作,双方优化了一个由 128 颗昇腾 950 芯片组成的超级节点。
背景是英伟达的开发者护城河:约四百万 CUDA 开发者。The Decoder 还引用 SemiAnalysis 的测试,后者测试了 OpenAI 的 Jalapeno 推理芯片,称 CUDA 护城河“可能已死”,但提醒称其仅测试了约 8000 输入 token 和 1000 输出 token 的相对简单场景。华为芯片未包含在该对比中。
权重出货之时,监管也在行动
这些事件并非孤立发生。《卫报》9 月 30 日报道,美国联邦贸易委员会正在对 Anthropic、OpenAI 及其他实验室展开全行业调查,并计划强制包括 Metr 在内的高管作证。《纽约邮报》率先报道此事。与此同时,OpenAI 搁置了自己的上市计划:Ars Technica 9 月 30 日报道,Sam Altman 表示在公司能够“做出有把握的安全决策”之前不会上市;同一天,LASST 在加州提起诉讼。
上述开放权重发布都很小、很便宜、很具体。值得关注的是这一模式,而非基准表格。
资料来源
6- 01Nvidia Kumo Tabular: Open Foundation Model for Tabular PredictionEN
- 02Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
- 03Coop: A small language model pretrained by volunteersEN
- 04China's AI industry closes ranks as Deepseek ships open-source software for Huawei's Ascend chipsEN
- 05US trade regulator opens investigation into AI giants including Anthropic and OpenAIEN
- 06OpenAI delays IPO over AI safety concernsEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。