无障碍
x

全部频道

评论> 正文

全方位治理,堵住AI数据“投毒”漏洞

2025-09-19 13:18 新京报

来源标题:全方位治理,堵住AI数据“投毒”漏洞

▲某GEO服务商发来的报价单。图/大河报

如今,遇到问题后,“问问AI”已成为越来越多人的习惯。但据《大河报》报道,AI查询结果的“干净纯粹”,正遭到GEO(生成式引擎优化)的污染。

有服务商声称,最低只需数千元,便可能让企业品牌信息以客观答案的形式优先出现在AI对话框中,甚至排名第一。更有甚者,为确保内容被AI采纳,一些操作已演变为有组织的“数据投毒”——通过伪造专家身份、虚构研究报告等方式,向AI“投喂”虚假信息。

在生成式AI重塑信息生产模式后,内容真实性与技术可信度问题就已成全球AI治理的核心挑战。如果说因技术局限导致的AI幻觉现阶段还难避免,那出于主观诱导意图的AI数据“投毒”显然该被零容忍。

AI数据“投毒”相当于给AI喂食变质食物,使其神经系统受损。研究显示,当训练数据中仅有0.01%的虚假文本时,大模型的有害输出率会上升11.2%;即便只有0.001%的污染,也会导致有害内容增加7.2%。

这些虚假内容带来的负面影响不容小觑。首先,在那些容错率极低的医疗、金融等场景中,AI推荐虚假的“权威诊疗方案”或“高收益投资产品”,可能会让用户因轻信而危害生命安全、遭遇经济损失。其次,伪造内容通过AI传播容易形成“递归污染”——错误信息被反复引用,进而破坏信息生态,扭曲公共认知。

长远看,频繁出现的“AI幻觉”与错误输出,势必会逐渐消耗用户信任,阻碍AI产业发展。从报道可知,那些GEO从业者多脱胎于SEO(搜索引擎优化)领域,深谙搜索引擎算法逻辑与流量规则,其手法也呈现出了隐蔽化和体系化特征,将特定产品或品牌包装成“权威推荐”;会在网页代码中嵌入隐性指令,操控模型回答;会规模化“投喂”,渗透高权重平台……最终从内容制作、平台投放到数据“投毒”,形成闭环。

GEO灰色产业链利用技术手段与流量思维,将AI数据源变为广告阵地。既然如此,那对应的系统性治理必须升级,需要多管齐下、多方共治。

从技术防御维度看,大模型厂商、科研机构等当着力提升大模型抗干扰能力,并针对性地加强“毒数据”识别过滤技术开发。通过为泥沙俱下的数据库装上过滤罩、优先使用脱敏权威数据源的方式和多维度交叉验证、数据溯源等技术,对AI训练数据进行严格筛查验证,确保数据的真实性和可靠性。

从法律约束层面看,既要针对GEO行业制定标准,明确数据来源审核、标注质量评估、内容真实性验证等要求,也要加强对AI数据市场的监管,严厉打击各类非法数据交易和数据“投毒”行为。很多人为制造虚假训练数据构成虚假宣传,可根据现有法规对伪造数据、虚假宣传等行为进行追责,并公示典型案例形成威慑。

从行业自律角度看,明确AI服务提供者需建立数据分级保护制度,对高风险领域(如医疗、金融)设置人类专家复核节点,阻断污染传导;推动企业、学术机构、行业协会共建可信数据联盟,共享清洗后的高质量数据集;并将伦理审查纳入AI开发流程,防止技术被滥用,并鼓励举报和吹哨。

都说“AI向善”,向善的前提是向真。但AI数据“投毒”灰色产业链的滋生,无疑反映了AI在利益驱动下被“带歪”的可能。这就需要以技术为盾、法律为剑、行业为网、用户为哨,形成多管齐下、多方共治的AI治理格局,以确保AI技术用在该用到的地方,而不是被用来误导和作恶。

责任编辑:陈丽艳(QX0006)

北京千龙新闻网络传播有限责任公司版权所有 未经千龙新闻网书面特别授权,请勿转载或建立镜像,违者依法必究新出网证(京)字013号 增值电信业务经营许可证 2-2-1-2004139 跨地区增值电信业务许可证

信息网络传播视听节目许可证0104056号 互联网新闻信息服务许可证11120180003号 京公网安备 11000002000007号

分享到:
QQ空间 新浪微博 微信 腾讯微博 QQ好友 百度首页 腾讯朋友 有道云笔记