小模型走向本地：新工具与501B开放权重重塑端侧AI

Reflection于10月5日发布了Beam，这是其首个开放权重模型。

该稀疏专家混合（Mixture-of-Experts）架构总参数为5010亿，激活参数为230亿。它专为编码、推理和智能体工作负载而构建。根据公司博客，Beam在238000亿个token上进行了预训练。高计算量强化学习运行在4周内，使用10500块NVIDIA GB300 GPU生成了超过1亿个rollout。

本地推理的理由

Beam瞄准的是推理效率，而非单纯的规模。

该公司声称，在推理计算量减少3到4倍的情况下，它取得了与GLM-5.2相当的成绩。在编码任务上，它接近Qwen 3.8-Max的水平。在原始能力上，Kimi K3等前沿模型仍占优势，但Beam的优势在于每个token的成本。权重尚未公开，目前正在进行最后的红队测试。Reflection将在本月晚些时候发布权重、技术报告和模型卡片。

这一发布正值一系列工具出现，旨在让真正的小型模型（运行在8B到35B范围）在日常开发中变得实用。这一趋势不仅仅是为了省钱，还关乎延迟、隐私以及在自有硬件上运行智能体。

修复小模型体验的工具

Reika是一个围绕小型本地模型优先设计的编码智能体CLI。它针对8B到35B的模型，通常量化为Q2到Q4，上下文窗口为16000到32000。发布于10月5日的README指出，该框架对上下文处理谨慎，失败时更优雅，并会在卡住时说明。该项目处于1.0之前版本，命令和设置仍可能变化。在测试中，14B到35B的模型处理多文件任务最可靠。8B到9B的模型能处理简单、范围明确的任务。低于7B的模型很少能走远。

开发者在docs/findings.md中发布了他们的发现。

一次中段重写重新处理了8453个token的提示，预填充耗时7.9分钟。同一会话中的追加操作仅消耗25个token和3.5秒。框架自身的上下文管理成本比模型本身更高。他们还发现，提示措辞是最弱的杠杆。在Q2量化下的模糊任务中，模型收敛或螺旋的概率约为50/50，框架无法改变这一比率，只能降低失败那一半的成本。

Jeff-Code采取了不同的方法。它是Mario Zechner的编码智能体Pi的一个分支。它将Jeff（一个0.8B的决策模型）放入智能体循环中。在Qwen的每个回合周围，Jeff做出两个快速决策，每个约0.2秒。它决定是否可以自己执行下一步，例如读取文件或运行测试。编写和编辑文件始终由较大的模型处理。它还决定Qwen是否需要深入思考。除非Jeff认为该回合需要完整思考的概率达到0.6，否则思考功能保持关闭。在评估中，Qwen约四分之三的回合在思考关闭的情况下运行。

结果具体明确。在配对任务中，Jeff-Code的通过率为62.4%，而单独的Qwen 3.8-27B为62.8%。配对差异为负0.2点，95%区间为负2.6到正2.1。每个任务的时间降至基准的0.68倍。所有任务总时间为基准的0.86倍。这是在相同通过率下47%的速度提升，或32%的时间减少。在Terminal-Bench 2.0上，速度提升不太明显，比率为0.96。

决策模型与新架构

Liquid AI推出了d1，其首个决策模型，现支持文本和图像。

决策模型通过为每个可能答案分配概率来回答关于情境的问题。它接受非结构化数据和一个或多个问题作为输入，在一次前向传递中读取，并返回概率而不生成token。文本决策耗时200到300毫秒。Liquid AI在六个实际应用中测试了d1与GPT-6.1 Sol和Claude Opus 5.5。d1在其中的四个应用中匹配或超过GPT-6.1 Sol。其成本比这两个模型低19到200倍，并在每个任务上回答得显著更快。

撰写过System One模型Jev文章的Sean Goedecke认为，这些模型可以训练自己的替代品。一旦你对Jev分类器的表现感到满意，就可以收集其输入和输出数据。然后，你可以在这些数据上训练一个特定的、手工构建的分类器。它不会是一个通用分类器，但应该在特定任务上表现良好，并且速度快得多。这种将通用System One模型蒸馏为专用分类器的模式，可能会变得普遍。

Interfaze AI发布了Interfaze 1 Lite，一个针对开发者工作负载的混合架构模型。它不是单一网络，而是一个推理核心加上专家，每个专家都针对其最擅长的任务进行选择。整个模型在一个80 GB GPU上运行，无需外部服务。它处理文档理解、语音转录、视觉定位和结构化输出。95分钟的录音在约90秒内转录完成。它支持14种语言进行多语言推理，上下文为131000个token。它在olmOCR-Bench上得分83.8，在Structured Output Benchmark上得分81.5。

端侧推理与隐私

对本地模型的需求不仅仅是关于性能，还关乎数据保留在设备上。

Dictate是一款适用于iPhone和Apple Watch的语音笔记应用，完全在设备上运行。它使用Parakeet（一个开放语音模型）转录25种欧洲语言。Apple Intelligence在iPhone上生成阅读版本，删除填充词并解决口语修正。音频从不离开手机。没有服务器、没有账户、没有分析数据。转录文本唯一可能去的地方是用户定义的webhook，如果启用的话。

JeffyClassify提供在CPU上运行的51种语言文本分类器。多语言分类器使用多语言句子编码器。每个分类器约100 KB。编码器是共享的。它们在CPU上花费22分钟，基于Amazon MASSIVE进行训练。还有针对特定任务的专用分类器，例如SMS垃圾检测（准确率为99.1%），以及使用逻辑回归（无神经网络或GPU）的实时Doom游戏画面分类。

背景与上下文

这些发展符合更广泛的转变。2026年Python语言峰会讨论了用于CPython的Rust，该项目旨在提高性能和安全性。作为该项目大使的David Hewitt指出，CPython中类型崩溃问题的数量一直在稳步上升。Rust可能有助于缓解这些问题。提案是要求Python发行版尝试在Python 3.16中使用可选的Rust支持，该版本预计于2027年10月发布。这项技术基础设施工作支持着小模型所依赖的生态系统。

与此同时，由Het Patel领导的UC Riverside的一项研究发现，大语言模型中的置信度和正确性源自不同的内部特征。这挑战了模型置信度是准确性可靠指标这一假设。通过识别这些特征，研究人员可以调整模型，使其在可能出错时更加谨慎。这是让小型本地模型在决策角色中更值得信赖的一步。

开源社区也在对新的视频模型做出反应。MiniMax于8月3日发布了H3的模型权重。三天后，它登上了Hugging Face趋势榜榜首。虽然H3是一个视频模型，但其发布凸显了开放权重在AI生态系统中的价值。开发者可以下载、部署、量化和修改该模型。这种开放获取的精神使得当前小型、本地和端侧模型的浪潮成为可能。

对于开发者来说，选择是明确的。如果你需要前沿能力，使用大型托管模型。如果你需要速度、隐私或成本控制，使用小型本地模型。让第二个选项可行的工具终于正在到来。