谷歌扩展端侧 AI 至 Gemma 3n，新增 RAG 与函数调用

谷歌在开发者博客上公布了细节，同时发布两个新库：一个用于端侧检索增强生成（RAG），另一个用于函数调用。两者均先在 Android 平台上线，其他平台随后跟进。

谷歌认为小语言模型（SLM）已走出演示阶段。这篇由高级产品经理 Mark Sherwood 和四名工程师撰写的博客列举了几个场景：现场技术人员拍摄无服务零件的照片，仓库员工通过语音更新库存，以及一款将口述病史转化为已填写表单字段的医疗应用。这些例子都假设模型在本地运行，无需往返服务器。谷歌给出的数据很具体。今年早些时候推出的 Gemma 3 1B 模型大小为 529MB，在移动 GPU 上的预填充阶段每秒可处理 2585 个 token，公司称这足以在不到一秒内处理一页内容。

小巧的体积扩大了设备覆盖范围，也限制了应用强制用户下载的大小。

较新的 Gemma 3n 以 2B 和 4B 参数变体的早期预览版形式到来，原生支持文本、图像、视频和音频。目前 Hugging Face 上仅有文本和图像；音频功能随后发布。谷歌还提到了新的量化方案，与 bf16 相比，可将模型大小缩小 2.5 到 4 倍，同时降低延迟和峰值内存使用。

苹果和其他厂商一直在关注同一问题

谷歌并非首创。Ars Technica 在 2024 年 4 月 25 日报道称，苹果发布了名为 OpenELM 的八个源码可用模型，参数从 27000万 到 30亿 不等，小到足以在智能手机上运行。苹果发布了模型权重、训练代码和可复现配方，尽管 Apple Sample Code License 包含的限制可能不符合严格的开源定义。苹果的白皮书声称，通过其所谓的逐层缩放策略，在仅使用一半预训练 token 的情况下，比 Allen AI 的 OLMo 1B 准确率提高了 2.36 个百分点。就规模而言，Ars Technica 指出，当时 Meta 最大的 Llama 3 模型拥有 700亿 参数，而 OpenAI 2020 年发布的 GPT-3 拥有 1750亿 参数。一个 529MB 的模型完全是另一类对象。

大型语言模型的可复现性和透明度对于推进开放研究、确保结果的可靠性以及调查数据和模型偏差以及潜在风险至关重要。

这是苹果 OpenELM 论文摘要中的内容。该公司还警告说，在公共数据集上训练的模型可能会产生不准确、有害、有偏见或冒犯性的输出。

研究怎么说关于限制

2024 年 11 月 arXiv 上的一篇论文介绍了 SlimLM，这是一系列从 125M 到 7B 参数的模型，针对三星 Galaxy S24 上的文档辅助进行了调整。作者报告称，与现有小模型相比，其性能相当或更优，并发布了 Android 应用，同时指出端侧处理可以降低服务器成本并提高隐私。论文本身的框架是，手机上的实际性能仍未得到充分探索。

还有一个更令人不安的发现。Prashant Mudgal 的另一篇 arXiv 论文测试了 7 种置信度方法，跨越 7 对模型和 5 个基准，发现 token 级熵在参数低于 30亿 的模型中实际上是盲目的：在 91% 的数据集-模型组合中，无论答案是否正确，平均 token 熵都接近零。通过采样多个答案并按语义聚类计算的语义熵恢复了可用信号。将不确定的查询路由到更大的专家模型可将准确率提高多达 50 个百分点，跨家族路由平均提高 +22.0 个百分点，而同家族路由平均提高 +6.8 个百分点。

谷歌的函数调用库在实践中做出了类似的妥协。博客指出，它可以与一个生成合成数据以提高函数调用准确率的 Python 工具模拟库配对，这承认了小模型在可以被信任执行操作之前需要帮助。

谷歌尚未说明 Gemma 3n 何时将退出预览，或者 RAG 和函数调用库接下来将到达哪些平台。