PlanetScale 解析 Postgres 搜索引擎，媒体机构正为后搜索时代重构流量

这篇文章于 9 月 27 日 01:39 UTC 发布。PlanetScale 的工程博客发表了《(Postgres) 搜索引擎解剖》，详细说明了倒排索引、词项字典和倒排表如何取代逐行扫描，从而解决 LIKE '%postgres%' 查询成本高昂的问题。尽管文章未提及出版业，但其发布时机与媒体行业的现状并非巧合。

搜索流量正是出版商试图替代或重建的部分，基础设施层面的对话正在下沉。PlanetScale 的文章提醒人们，搜索背后的机制并非魔法。B 树索引将列值按全序排列，能查找精确值、范围或前缀，但无法匹配字符串中间的内容。这项任务由倒排索引完成，它将文本字段中的每个单词映射到包含该词的文档。

文章细节丰富，对工程师有用且具体可查。PlanetScale 描述了一个词项字典，它将所有文档中的每个词项映射到倒排表，字典以 B 树或其他按字典序排序的结构存储在磁盘上。通配符和模糊查询可能扫描该字典的一部分或全部：g* 会查找 gonna 和 give，而 u~2 会查找所有编辑距离在两个字符以内的词项，在文章示例中即 you 和 up。

底层技术为何关乎出版商

倒排表通常经过排序和压缩。PlanetScale 给出了一个实例：在一个包含 300,000 篇文档的索引中，如果有 100,000 篇包含单词 "who"，直接存储每个 ID 需要 19 位，但连续排序 ID 之间的平均间隙为 3，只需 2 位。密集列表可以存储为位图，每篇文档占 1 位。排序列表的并集和交集运算只需一次 O(n) 遍历，位图操作可以利用向量指令一次性 OR 或 AND 128、256 甚至 512 位。

这是出版商在消费端面临的同类问题。9 月 28 日，Digiday 发布了其出版峰会的回顾，描述了出版商如何为后搜索时代重建。同一天早上，cxotoday.com 发表文章称独立媒体正受到 Google 和其他 AI 巨头的限制。PlanetScale 的文章未提及这些媒体，技术博客也未涉及引荐流量。两者的联系是结构性的：搜索正在查询链路的两端被重建。

媒体行业流传的数字并不乐观。档案中追踪的近期头条包括 9 月 24 日发布的 Google 搜索对出版商的引荐流量同比下降 40%，以及另一份报告显示全网搜索引擎流量下降，部分小型网站跌幅达 60%。这些数字来自标题聚合而非原始来源，因此应视为方向性指标。方向是一致的。

开源替代方案也在行动

Luxir 是一个于 9 月 22 日发布的开源混合搜索引擎，其卖点基于相同的经济学逻辑。其网站宣称通过单一引擎提供全文、向量和分面搜索及分析功能，配备工作窃取调度器，在所有核心间共享索引、合并和查询执行，支持异步网络 IO，并为倒排表解码、评分和向量距离提供 SIMD 路径。据项目称，分面计数默认精确，当调用者不请求完整总数时，top-k 请求会使用 block-max 边界进行剪枝。

Luxir 的页面是产品网站，而非基准测试论文，其性能声明是自报告的。PlanetScale 的文章也是如此，它由一家销售 Postgres 兼容数据库的公司发布。两者作为架构描述和意图声明是有用的。都不应被视为独立测量。

档案中其他部分，Sitefire 的 Jochen Madler 于 9 月 22 日发布的 arXiv 论文《SlopShape: Identifying AI-Generated Commercial Web Content》提供了一种针对 AI 生成营销文案的结构检测器。该论文报告了 268 个公司域名的 2250 篇 ChatGPT 前人类博客文章，与来自 5 个前沿模型的 11250 篇 AI 镜像对比。仅使用 187 个结构特征，在保留公司上的 macro-F1 达到 98.0，正确源模型归因率为 79.3%，而随机基线为 16.7%。人类间 Kappa 系数为 0.928，人类与模型间为 0.946。该论文为 v2 版，于 9 月 17 日修订。

这与搜索基础设施重要性的原因相同。如果商业网页内容的很大一部分是机器生成的，且具有整齐、自我宣告的结构，那么搜索引擎索引的语料库正在与引擎本身同时发生变化。为后搜索时代重建的出版商不仅是在争夺结果页上的位置，更是在争夺一个日益自我书写的语料库中的位置。

档案中两个较小的条目指向同一方向。ParkourNote 是一个于 9 月 28 日发布的单人构建研究工作台，可导入论文、书籍、网页和视频，进行转录和翻译，并通过 MCP 服务器将库暴露给 Claude、ChatGPT 或 Codex。GPU-font 同样发布于 9 月 28 日，通过 WebGPU 在浏览器中运行小型神经网络，从图像中匹配字体。两者都是个人项目，而非平台转变。它们也是同一模式的例子：更多能力，更少服务器，更少中间人。

对出版商而言，实际问题未变。搜索引荐流量正在下降，构建搜索产品的技术成本随之下降，而竞争同一索引槽位的合成内容量正在上升。PlanetScale 的文章解释了索引如何找到单词。它没有解释谁会被找到。