Postgres、Luxir 与 SlopShape：搜索技术栈正在重建，出版商流量却在下滑

本周搜索技术栈的最新进展并非来自搜索引擎。9月27日，PlanetScale 发布了《Anatomy of a (Postgres) Search Engine》，解析 Postgres 内部倒排索引的工作机制，以及它和大多数开发者首选的 b-tree 有何不同。

PlanetScale 的这篇文章提醒人们，搜索如今是数据库的一个功能，而不仅仅是一个产品品类。文章写道：“b-tree 无法匹配字符串中间的内容。”随后展示了希望开发者停止使用的模式：使用前导通配符 LIKE 逐行检查整张表。文章指出，“几乎所有全文搜索引擎”都依靠倒排索引来定位文档，即按字段中的每个词单独建立键。这是一个微小的架构点，却直接决定了数据库回答问题的速度。这篇解析对底层机制的描述异常具体。倒排索引包含词项词典和倒排列表，还可以额外添加位置和词频数据。倒排列表先排序，再压缩：PlanetScale 举例说明，在一个包含 30 万篇文档的索引中，有 10 万篇包含单词 “who”。如果直接存储每个 ID，每个倒排项需要 19 位，但相邻 ID 之间的平均间隔为 3，只需 2 位即可表示。对于密集列表，可以进一步存储位图，当约一半文档包含某个词时，位图是最优选择。这虽是压缩细节，却解释了为何大规模语料库上的搜索成本可控，也解释了为何查询引擎能在一次 O(n) 遍历中完成两个倒排列表的并集或交集运算。PlanetScale 还提到，当列表存储为位图时，现代 CPU 的向量指令可在一条指令中对 128、256 甚至 512 位执行 OR 或 AND 操作。

Luxir 主张用一个引擎实现全谱系搜索

五天前，即 9月22日，名为 Luxir 的项目发布了其方案：一个开源引擎，在单个请求中结合全文搜索、向量搜索、分面搜索和分析功能。Luxir 的网站从成本而非功能角度阐述其价值，称其“旨在实现每核、每 GB、每美元最高的搜索量”，并指出云客户“将永远为低效付费”。

架构声明非常具体。工作窃取调度器将索引、合并和查询执行分摊到多个核心；网络 IO 是异步的，慢速客户端不会占用核心；段是不可变的且内存映射，直接从页缓存读取。倒排项解码、打分和向量距离计算均通过 SIMD 路径执行，top-k 请求使用块最大值剪枝。Luxir 对计数问题也表明了立场，这对构建搜索界面的开发者至关重要。项目称分面计数“默认始终精确”，结果总数在请求要求时精确，否则进行剪枝。查询、分面和指标在同一索引视图上执行同一遍处理，因此一次往返即可同时返回文档、侧边栏计数和页头数字。

这两篇文章描述的都是大多数用户看不到的底层管道。但搜索的经济账恰恰在这一层被决定，且变化迅速。

一个读取结构而非词汇的检测器

Luxir 上线同一天，arXiv 上的一篇论文将矛头指向填充这些索引的内容。《SlopShape: Identifying AI-Generated Commercial Web Content》于 9月14日提交，9月17日修订，探讨能否通过结构特征识别 AI 生成的文本，即信息呈现方式、顺序、证据类型和语气。作者是 Sitefire 的 Jochen Madler，他复现了 Russell 等人针对商业内容的 StoryScope 工作：268 个公司域名下的 2250 篇 ChatGPT 之前的人类博客文章，对照来自五个前沿模型的 11250 篇 AI 镜像文章。一套由 LLM 执行的 214 特征测量工具，经人工金标注环节验证，人际 kappa 值为 0.928，人机 kappa 值为 0.946；仅凭 187 个结构特征，其在留出公司上的宏 F1 达到 98.0。用各自模型改写每篇 AI 文章后，分数保持在 98.1 不变。

论文还声称能进行归属判断。AI 文章共享“一种整齐、自我宣告的形状”，79.3% 被正确归因到源模型，而随机猜测的概率仅为 16.7%，人类文章则占据罕见的结构配置。流水线、测量工具、提示词和代码均已公开。

这一结果对搜索至关重要，因为结构正是排序系统和 AI 答案引擎消费的对象。如果商业网页内容具有可检测的形状，那么搜索引擎索引的语料库正变得越来越统一，而索引工具同时变得更快、更便宜。

买单的是出版商

档案中周边的标题指向相反方向。近期报道包括：9月24日的一篇报道称，出版商的 Google 搜索流量同比降幅扩大至 40%；9月16日的一条消息指出，Google 搜索资料徽章暴露了出版商的流量危机。更早的条目描述了全网搜索引擎流量下滑，一些小网站跌幅达 60%，以及 Google AI 搜索威胁小出版商，因为对话式 AI 切走了网站流量。部分日期不在最近一周内，因此属于背景信息而非新闻。但它们为上述技术发布定下了基调：构建搜索索引的成本持续下降，而索引返还给出版商的流量也随之持续下降。

档案中另外两条说明了该领域的广度。9月26日，CleanTechnica 为其自有图书出版业务开放投稿，为作者提供出版路径：预付 3000 至 5000 美元，外加每本书销售的分成，并定于 9月30日举行 Google Hangout。9月24日，Wiley 的工程内容中心发布了一份由 Hendrix by Marmon Utility 赞助的白皮书，讨论变电站出线施工，认为出站头几档线路的可靠性格外重要，因为那里一处接触引发的故障可能同时中断多条回路。

这两条表面上看都不是搜索新闻。但它们都是针对特定受众的商业内容，以赞助商名义或出版商品牌生产，这正是 SlopShape 论文试图分类的同一类内容。论文认为，这类内容具有特定形状：特定的顺序、特定类型的证据、特定的语气。如果这一观点成立，下一代搜索引擎必须决定如何处理这些内容。

目前，基础设施侧的进展快于政策侧。PlanetScale 正在发布 TIN，即其面向 Postgres 的全文搜索索引，并表示将发布一篇更深入的文章介绍其功能、性能和实现。Luxir 可供下载，HTTP/JSON API 运行在 9400 端口，使用数据目录进行持久化。arXiv 上的论文是公开的，附带代码和产物。

它们都未解决的是读者去向问题。搜索引擎越来越擅长查找文档，而出版商报告到达其网站的人数越来越少。这一缺口，正是现有工具尚未回答的问题。