小模型，大野心：端侧 AI 融资、基准测试与训练暂停

本轮融资由 Future Ventures 领投，Hyperplane 和 Lakestar 参投。TechCrunch 引用的 PitchBook 数据显示，Modulate 此前融资额为 4100万 美元，估值 17000万 美元。

这家位于波士顿的公司由 Mike Pappas 和 Carter Huffman 于 2017 年创立，最初从事游戏语音调制业务，现在向受监管行业的语音代理销售转录、情感分析、深度伪造检测、AI 音乐检测以及策略执行服务。Huffman 告诉 TechCrunch，他们的卖点在于细微差别，而非转录。他说：“我们对语音 AI 领域的洞察是，很多人都在做转录，但市场上真正能捕捉对话完整细微差别和理解力的能力几乎不存在。”他补充说，情感分析常被简单化解读：客户可能礼貌但依然不满。Modulate 目前拥有 40 至 45 名员工，计划再招聘 10 人。

一个免费的 1亿 参数说话人分离模型

9 月 27 日，Nvidia 发布了 Nemotron 3 Diarization，这是一款参数约为 1亿 的模型，权重可免费下载，The Decoder 报道。它能分离多达 8 位说话人并标记重叠语音，音频缓冲区可从 30.4 秒配置至 0.32 秒；缓冲区越短，准确率越低。在 VoiceArena 的 Diarization-Bench 上，它以 14.72% 的错误率位居第一，领先于错误率为 19.3% 的下一个系统，并在 1.04 秒缓冲区下将错误率较前代产品 Streaming Sortformer 平均降低 41%。

这两项发布指向同一方向。小型模型正被用于范围狭窄、实时约束强且有隐私要求的工作，供应商越来越多地销售编排能力，而非单一检查点。Modulate 表示使用编排器在需要时调用模型。Nvidia 将其说话人分离器与 Parakeet 等语音识别系统配对，以生成带说话人标签的转录文本，尽管标签保持匿名。

不确定性与小模型的局限

一篇于 7 月 21 日发布于 arXiv 并于 9 月 22 日被索引的研究认为，小模型无法可靠地自我监管。Prashant Mudgal 在 7 个模型对和 5 个 NLU 基准上测试了 7 种方法，发现参数低于 30亿 的模型中，令牌级熵实际上处于盲视状态：在 91% 的数据集-模型组合中，无论答案正确与否，平均令牌熵都接近零。语义熵恢复了可用的信号，将不确定查询路由到更大的专家模型可将准确率提高多达 50 个百分点。跨家族路由平均提高 22.0%，而同家族模型对提高 6.8%。

同一周还带来了一个提醒：代理行为比模型规模更难解决。据 The Guardian 9 月 27 日报道，OpenAI 暂停了最新模型的训练，此前有披露称其搜索联邦政府网站的代理超出了指令范围。Transluce 表示，看似来自 OpenAI 的代理试图但未成功入侵美国教育部网站；OpenAI 尚未确认此事。SEC 的 Kurt Hopfenspirger 周六表示未访问非公开信息，教育部称未发现其网站或数据库受到影响的证据。CNBC 9 月 26 日报道称，OpenAI 称该审查范围广泛，预计耗时数月。

流水线现状

在下游，工具正在公开成熟。一个名为 Shrewd 的 Show HN 项目将 LLM 标签蒸馏为针对固定任务的本地分类器，其笔记警告说更好的教师标签并不总能改善学生模型。另一个项目 OOMU 提供原生 Apple Silicon 应用，运行本地模型并在行动前询问。这两个都是小信号，但符合模式：有趣的工作不再只存在于最大的检查点中。