Aurora直查Iceberg，16岁少年攻破微软Titan，Kafka迁移引热议

体育机构的底层架构与其他行业大同小异：装满Parquet的对象存储、数据仓库、事务型数据库，以及一条保持同步的队列。过去72小时内发布的三篇报道，描述了这条管道被拆解并重组的过程。俱乐部、联赛或转播商将比赛转化为数据的速度，直接受此影响。

Aurora引入DuckDB，ETL环节消失

AWS于9月30日表示，Aurora PostgreSQL现可同时查询运营数据及存储在Apache Iceberg、Parquet格式中的数据。用户无需构建抽取、转换、加载（ETL）管道或复制数据，即可使用现有的PostgreSQL应用和工具。客户创建指向Amazon S3、Amazon S3 Tables或AWS Glue Data Catalog中Iceberg或Parquet数据的PostgreSQL外部表。根据AWS What's New公告，Aurora通过嵌入PostgreSQL的DuckDB引擎执行这些查询。该功能在Aurora PostgreSQL 17.11和18.6及更高版本上全面可用，覆盖所有AWS商业区域和GovCloud (US)区域，且不额外收费。

对于体育分析栈而言，这意味着从夜间批处理到比赛进行中实时查询的转变。

这也消除了一种已知的故障模式。AWS写道：“访问这些数据通常需要管道，将数据从数据湖复制到Aurora。随着schema演进，成本和工程投入都会增加。”AWS称，通过Glue Data Catalog联合的、兼容Iceberg REST Catalog的外部目录也可用。对于延迟敏感的工作负载，可使用标准SQL将Iceberg或Parquet数据物化为Aurora PostgreSQL原生表，无需ETL管道。

Quantum与Kafka：没人想迁两次的迁移

对象存储厂商Tigris于9月30日解释了为何将异步工作从FoundationDB迁移至Kafka。FoundationDB是其唯一使用的数据库。这篇文章对权衡之处的描述异常坦率，且与体育数据工作负载高度契合：追踪数据流不能因某个worker崩溃而丢失事件。

Tigris曾在FoundationDB之上实现了QuiCK论文中的方案，即Apple用于CloudKit的排队系统。虽然可行，但调度需要大量写入和扫描，与用户请求竞争资源，且每个任务需多次写入才能完成。新工程师必须学习一套没有标准实现的定制代码。

Tigris对Kafka的抱怨值得整段引用，因为这是大多数体育数据团队都能共鸣的抵触情绪。Tigris的文章问道：“你是否曾觉得自己像个塑料袋在风中飘荡，却无法重新开始？因为接下来是彻底的疯狂：花几个月时间排列组合JVM参数，只为榨出一点幽灵般的性能，好让服务器不至于一直着火？”文章随后承认，这次迁移并非干净的替换：队列仍留在FoundationDB，而垃圾回收等任务迁移到了Kafka。文章表示：“我们将垃圾回收等异步任务移至Kafka，从而降低FDB的读写负载，并削减大量烦人的定制代码。”

任何使用数据库作为队列运行实时体育数据流的人都应阅读此文。

17.3万亿行、一名16岁少年，以及一个缺失的签名

本周阅读量最高的数据新闻并非产品发布。The Register于9月30日报道，16岁安全研究员Faav在微软内部Titan分析服务中发现认证漏洞，获取管理员权限，并在无有效凭证的情况下执行SQL。他访问的数据库估计存储了17.3万亿行数据。

Titan通过Web界面仅限微软员工访问。Faav利用自建的AI黑客机器人Antares，通过一台Azure Cloud Services主机访问Titan API，原因是Titan未校验登录令牌的签名。微软随后锁定该API，并支付了5000美元漏洞赏金。Faav在博客中写道：“当时是凌晨两点。我想大喊，或者至少说点什么，但父母都睡了。所以我只是坐在那里盯着17,333,335,124,315，再次核对了计算。”

The Register指出，Faav应微软要求重写了博客文章，在发布前删除了部分段落和数字，并修改了影响描述。同一篇报道中，微软给Faav的声明称：“他们的提交和协调漏洞披露帮助我们加固服务，更好地保护客户。”

对体育机构而言，关键发现不是行数，而是Faav总结的教训：“Titan校验了JWT的内容（租户、受众、应用ID、用户），但从未验证签名，而签名是任何认证检查中最重要的部分。”每个摄入运动员、医疗或球迷数据的分析平台都依赖相同的令牌检查，同样的故障不会自行发出警报。

管道归谁所有，谁能看到内部

本周另外几篇报道显示，体育数据周边的治理层并未简化，反而更加复杂。The Guardian于9月29日报道，美国卫生与公众服务部长Robert F Kennedy Jr提出计划，将医疗和生活方式数据连接起来并用AI检索，称Medicaid是“非常有用的载体”，“里面有数亿人的生活”。运动医学和可穿戴数据紧邻这条管道，关于同意和二次使用的相同问题同样适用。

The Guardian还在9月30日报道，超过44000人依据英国GDPR第21条提交法律异议，反对英格兰NHS由Palantir驱动的联邦数据平台处理其个人信息。Palantir英国及欧洲执行副总裁Louis Mosley指责批评者患有“Palantir错乱综合征”。公司称其软件帮助信托机构多记录了117000台手术，长期住院患者的出院延误减少了14.3%。

同一天，404 Media报道，白宫国家毒品控制政策办公室利用HIDTA拨款项目，将Flock、Axon等供应商的本地车牌识别数据拉取到联邦服务器，某些情况下还转发给DEA的国家车牌识别项目。电子隐私信息中心的Jeramie Scott对404 Media表示：“如果你因Flock感到愤怒，那你也该对这件事感到愤怒。”

NL Times于9月30日报道，大多数欧洲数据中心对环境影响保密。荷兰较大型设施中，只有不到四分之一公布电力和饮用水数据，而欧盟能源效率指令下的这项义务已生效三年。体育数据中心面临相同的披露缺口。

综合来看

技术方向清晰。查询引擎正向数据所在位置移动，队列正从数据库中分离，体育分析团队构建了十年的ETL复制环节正被厂商自身淘汰。治理方向则更混乱：更多数据被连接，更多异议被提交，更多底层基础设施未对外披露。

两种趋势在同一处交汇。一个能在几秒内从Aurora查询数据湖的俱乐部，同时也是一个持有被监管者、倡导者和攻击者视为目标的数据的俱乐部。本周管道变快了，但围绕它的争论并未简化。