当聊天机器人“说出”没说的话:谣言如何变成新闻
一款中国聊天机器人否认了疯传的“煮鞋”谣言,但媒体已将其广泛转载。视频作者承认,他故意诱导模型给出错误回答,且未标注素材为虚构。

论点:问题不在模型,而在将聊天截图当作信源发布的编辑部。只要虚构内容不强制标注,任何“聊天机器人证据”都可能成为虚假信息的弹药。
这事看起来像典型的网络爆款。视频显示,一款中国AI助手据称建议煮鞋,以便“恢复原始尺寸”。素材传播极广,部分媒体和机构账号将其视为聊天机器人存在危险错误的证据。当故事传到厂商公关部门,对方发布声明辟谣:模型从未说过此类内容。
调查揭示了一个比单次错误更严重的问题。视频是摆拍的,基于“缩水的鞋能煮回来”这一流行说法,以玩笑形式呈现。作者承认,他故意引导模型产生错误回答并录下结果,但未将素材标记为虚构或娱乐内容。后果在意料之中:观众(包括记者)看到缺乏上下文的短片,便将其误认为产品的真实行为。正如公司官方解释所言:“一则谣言变成了新闻”。
这种模式此前已发生过两次。同一公关团队曾辟谣另一事件:一份由博主利用AI生成并归因于产品的“十大最受欢迎明星”榜单。两起事件的机制完全相同:系统无故障,而是有人故意诱导回答,将其从上下文中剥离,并作为事实传播。
这并非中国独有的问题。同样的模式正在推动全球监管决策。欧盟《人工智能法案》第50条要求,生成和操纵的内容必须以机器可检测的格式进行标注。实施时间表显示,市场速度与法律严谨性难以兼顾。民意调查显示,受众已期待标注:81%的德国人认为透明标注来源和训练数据很重要,54%的人会核查模型结果中的错误。
结论有两点。首先,标注摆拍和虚构材料的义务,不应仅覆盖合成内容,还应涵盖以模型为主要证据的视频。其次,也是更关键的一点,编辑部不能将聊天窗口截图视为信源。若将截图作为证据发布,必须核实回答是否在诱导下产生,以及是否保留完整上下文。这是基本的业务要求,在生成器时代尤为关键。谣言不会因被录制而成为事实,而是因未经核实就被发布而成为事实。
资料来源
2- 01豆包辟谣“建议煮拖鞋”传闻:相关内容为摆拍玩梗ZH
- 02Article 50 — Transparency obligations for providers and deployers of certain AI systemsEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。