
你好,我是郑工长。
今天聊聊一个正在疯狂生长,但几乎没人注意到的灰产——AI"投毒"。
什么意思?简单说,就是有人专门往大模型的语料库里注入虚假信息,用批量造假来操控AI的搜索结果。业内黑话叫GEO——生成式引擎优化。这不是网络水军刷评论,这是直接往AI的"大脑"里灌假记忆。
新浪财经最近起底了这个生意。投毒者批量制造假文章、假评论、假数据,把它们塞进AI的训练数据里。等模型学进去了,你再问AI什么问题,它给出的答案就可能是被"污染"过的。更可怕的是,这些假信息一旦进入模型训练,清除成本远高于投毒成本。
这叫什么?这叫"负成本犯罪"。
你想想以前的假货——商家做一批假包,成本再低也要生产、物流、销售,发现了可以销毁。但AI投毒不一样:投进去的是信息,污染的是模型的"认知"。模型不会区分这是"假知识",它只会觉得"这个说法出现频率高,应该靠谱"。等到你发现AI给出的答案不对,模型已经"中毒"了——而且是终身携带。
这背后还有一个更细思极恐的逻辑:投毒的边际成本极低,但影响范围极大。我造一条假信息,可能影响100万次AI回答。我投一次毒,可能让整个模型在某个领域的判断失灵。这生意,太划算了。
被忽略的隐性成本在这里暴露了:我们每个人都在支付越来越高的"AI心智税"。你用AI查一个新闻,得先怀疑这是不是被投毒优化的。你用AI写个方案,得先验证它的数据来源。这些多出来的时间、焦虑和判断力消耗,没有人写在产品定价表里,但每一个AI用户都在默默支付。
定律:当造假进入AI时代,污染变成了不可逆的——不像假货可以销毁,污染过的模型是"遗传"的。
好消息是,防守方也开始建阵地了。
智源联合北大、北邮、北航、上交大、中科院等机构发布了FlagSafe大模型安全平台,对抗攻击、数据投毒、后门检测——一套完整的防御体系。央媒也亲自下场,新华GEO智能体平台发布,要建一个"可信信息分发"国家队。
但我告诉你,这只是刚开始。
AI生成和AI检测是一场永无止境的猫鼠游戏。投毒者只需要找到一个漏洞,防守者就得堵住所有可能。当AI能力越来越强,造假就会越来越逼真,检测就会越来越困难。
最终,我们每个人都要学会一件事:不要100%相信AI给你的答案。
不是AI不好,是这个阶段,它还不够可靠。





