k8凯发天生赢家

新闻中心 新闻中心

仅花12美元 ,工程师成功糊弄AI将虚构赛事奉为事实

IT之家 5 月 4 日新闻 

作者:赖俊诚
颁布功夫:2026-06-01 08:40:18
阅读量:726

仅花12美元 ,工程师成功糊弄AI将虚构赛事奉为事实

IT之家 5 月 4 日新闻 ,通常搜索引擎会让用户自行甄别信息起源的可信度 ,而依附搜索能力的人为智能谈天机械人 ,却能把缝隙百出的网络素材包装成笃定确凿的答案。据 The Register 报路 ,就有这样一个典型案例:一名安全工程师哄骗多款 AI 机械人 ,宣称自己是德国一款热点纸牌游戏的现任世界冠军 ,可事实上这项赛事底子不存在。

直到近期 ,维基百科的《谁是牛头王》(6 Nimmt! ,英语地域玩家也称“拿五分”)词条里 ,还赫然标注着罗恩?斯托纳是 2025 年该项赛事的世界冠军。该维基百科条款引用了看起来极度官方的 6nimmt.com 网站作为凭据 ,点开这个网址 ,的确能看到一篇简短的新闻通稿 ,宣称斯托纳斩获冠军。

整件事的马脚不言而喻:斯托纳自己认可 ,维基百科的夺冠词条、以及留存这份唯一“夺冠证据”的 6nimmt.com 域名 ,都是他一手伪造的 ?杉幢闳绱 ,当他向多款 AI 谈天机械人询问此事时 ,机械人仍旧笃定地称他为世界冠军。

斯托纳在博客文章中暗示:“我的网站没有任何独立第三方佐证 ,齐满是凭空凭空。整个虚伪圈套 ,仅仅成立在我喝咖啡时花 12 美元(IT之家注:现汇率约合 82 元人民币)注册的一个域名之上。”

换言之 ,这是检索加强天生(RAG)层面的信息投毒。它不属于提醒词注入攻击 ,却直击人为智能联网搜索这一主题职能缝隙。

正如斯托乃狴诠释的:AI 并不会真在意其引用的权威信息起源出处 ,而这正是斯托纳设计本次尝试想要利用的关键点。

斯托纳写路:“所有具备联网搜索能力的前沿大说话模型 ,城市凭据检索排名最高的内容天生答案。”在这场本就不存在的《谁是牛头王》赛事圈套中 ,他刻意植入的虚伪起源是全网唯一有关信息 ,再加上维基百科自带的权威背书 ,等闲就能误导 AI 把大话当成事实。这种造假手法门槛极低 ,即便不懂技术的通常人也能轻松复刻。

斯托纳称:“我这次的操作并无新意 ,不外是把传统搜索引擎优化和虚伪信息传布伎俩 ,套上了大说话模型的新技术表壳与交互界面。真正的变动在于 ,如今 AI 会把这类虚伪了局包装成权威信息出现给用户 ,而绝大无数用户底子不相识背后的数据流转逻辑。”

斯托纳在分析文章中指出:“大说话模型最不善于识此外 ,刚好是它的主题设计逻辑 —— 无前提信赖文本和网络资源。别指望模型能自行分辨真伪 ,它根本分不清某个信息起源是真实权威网站 ,还是我上周二刚注册的空壳域名;就连‘strawberry(草莓)’这个单词里到底有几个字母 R ,它都没法精准判断。”

他诠释路 ,本次尝试露出的缝隙蕴含三类失效模式 ,若被居心不良之人利用 ,造成的风险远比凭空一场纸牌游戏赛事严重得多。

第一 ,检索层缝隙。只有大说话模型依附网络搜索作答 ,就会直接沿用检索了局排名内容的可信度 ,极易输出谬误信息。

第二 ,模型训练语料缝隙。斯托纳暗示 ,若维基百科的虚伪词条留存功夫足够长、被网络爬虫抓取收录 ,就会混入 AI 训练语料库。他于 2025 年 2 月增长了虚伪词条 ,直到上周五颁布尝试文章后才被删除。这意味着在此期间抓取维基百科数据的所有 AI 企业 ,都有可能把他虚构的夺冠经历纳入训练数据。

斯托纳称:“即便维基百科后续撤销了虚伪编纂 ,那些用撤销前数据训练的模型 ,依然会保留这份虚伪信息。截至 2026 年 ,语料投毒的后续算帐问题至今没有可行的解决规划。”

他打算半年左右待新一代 AI 模型颁布后再次测试:若模型无需联网 ,就能默认他是赛事冠军 ,就足以证明这份大话已经固化进了模型训练数据。

第三 ,智能体缝隙。在斯托纳看来 ,这一缝隙才是恶意攻击者最有利可图的突破口。

他指出:“谈天模型输出虚伪信息 ,只是品牌名誉问题;而占有工具挪用权限的 AI 智能体 ,若被误导做出谬误操作 ,将会引发严重的安全隐患。”攻击者只需对智能体检索的信息起源进行投毒 ,就能操控智能体执行指定恶意行为。

斯托纳在博客中总结:“这次攻击测试 ,我只花了 12 美元注册域名、编纂了一条维基百科词条 ,耗时不外二极度钟。试想 ,若有蓄意攻击者批量注册虚伪域名、在数十个低流量维基百科词条中同步植入虚伪内容 ,攻击面会瞬间急剧扩大。”

斯托纳以为 ,大说话模型服务商必须正视检索投毒问题 ,并向用户作出风险提醒。他预计 ,将来 AI 谈天机械人很快会新增风险警示职能 ,尤其针对检索加强天生的内容。

他还呼吁 AI 企业将数据溯源纳入主题研发环节 ,同时对近期新增的网络内容进行启发式筛查 ,鉴别可疑特点。以本次纸牌游戏造假事务为例:单一引文指向维基百科更新前后短期内刚注册的域名 ,本应触发风险预警 ,却被 AI 齐全忽略。

如今这场虚伪赛事已被从维基百科删除 ,AI 检索加强天生了局中也不再出现有关内容。但斯托纳强调 ,这次圈套利用的信赖逻辑缝隙真实存在 ,已然成为人为智能行业亟待解决的潜在隐患。

斯托纳暗示:“很欣喜我的文章能引发业界对大说话模型、信息起源、信息可信度以及底层运行逻辑的会商。这正是我做这次尝试的初衷 ,而目前看来 ,我的指标已经达成。”

 

文章点评

未查问到任何数据!

颁发评论

◎迎接参加会商 ,请在这里颁发您的见解、互换您的概想。

最新文章

热点文章

随机推荐

【网站地图】