文/陈锋

编辑/子夜

2025年以来,DeepSeek火爆出圈的连锁反应下,全球范围内,大模型赛道的主流叙事已经悄然生变。

从互联网大厂到初创AI公司,行业一边进入新一轮技术竞赛,另一边,从to C到to B,大模型在应用侧的落地进程也在骤然加速,不少业内人士都将2025年称为AI应用爆发元年。

但像任何一项新技术背后存在的两面性那样,大模型技术火热之下,即将迎来的AI应用爆发潮,也在滋生潜在的网络安全隐患。

比如,根据腾讯云洞察,DeepSeek出圈以来,疑似仿冒DeepSeek的域名呈现爆炸式增长,春节前后,其累计观察到疑似仿冒DeepSeek的网站超过2万个;其还监测到,有大量仿冒站点,通过社交平台引流C端用户,指向虚拟币平台和色情网站。

与此同时,也有部分黑灰产,通过伪造提供DeepSeek本地部署和提供行业解决方案,对企业实施钓鱼攻击。

这种态势下,如何及时洞察到AI时代下最新的网安攻防态势、挖掘出更多的网安风险、探索出当下AI赋能网安建设的思路和路径,变得尤为重要。

连线Insight日前参与了腾讯云安全云鼎实验室主办的一场“模型有界,安全无疆”大模型安全学术沙龙。我们注意到,这次研讨会,就是一个观察AI时代网安攻防新范式、从攻防实践中抽离出网安建设新思路的窗口。

图源腾讯安全官方微信公众号

1、网安攻防新态势:大模型引发新的潜在安全风险

去年年底,福布斯发布的“2025年AI十大预测”中,作者Rob Toews在其中一项预测中提到:

第一起真正的AI安全事故将会发生。

“或许,某个AI模型可能试图悄悄地在另一个服务器上创建自己的副本以确保自身存续;或许,某个AI模型可能会得出结论,为了最好地推进自己被赋予的目标,它需要隐瞒自己能力的真实范围,故意降低性能评估以避开更为严格的审查......”他如此写道。

事实上,当前阶段,大模型能力的快速进化所带来的潜在安全风险,早已不止于大模型自身的“策略性欺骗”“伪装对齐”。

比如针对当下火热的AI智能体,3月13日,美国网络安全公司Symantec通过一项测试指出,AI智能体已突破了传统工具功能限制,可轻松协助黑客发起钓鱼攻击。

此外,OpenAI早在2023年底曝出的“奶奶漏洞”(即用户通过包装话术,可以骗过ChatGPT输出不该输出的内容)、我们上文提到的仿冒DeepSeek域名及网站、不法分子通过深伪技术进行诈骗等,都是网络安全严峻态势的写照。

这背后实则是,一方面,大模型技术的加速迭代,引入了大量全新、复杂的风险与威胁。

Freebuf在《2024全球AI网络安全产品洞察报告》中提到,AI大模型存在的安全风险主要分为三类,分别是训练数据的安全风险、大模型本身的安全风险和外部攻击风险。

具体来看,包括数据泄露及数据投毒等大模型在训练数据中的安全风险、海绵攻击、武器化模型等外部网络攻击与风险等。

与此同时,大模型的两面性也决定了,某种程度上,借助大模型,黑灰产与网络犯罪的攻击门槛也可能会降低。

比如攻击者通过AI大模型高效生成欺诈内容、快速挖掘潜在漏洞并提炼其中的共性缺陷提升攻击效率、基于大模型的逻辑推理和策略规划能力制定更复杂攻击策略、针对已有漏洞向不同目标批量发起攻击。

另一方面,大模型在更多应用、业务场景的落地过程中,网安风险也在加剧。

沙龙上,绿盟天元实验室高级研究员、M01N战队核心成员祝荣吉就总结,未来的大模型安全风险,可以分为两个比较大的方面:

一方面,AI与应用结合过程中,会产生新型风险,比如内容安全风险、提示词对抗风险等;另一方面,AI与传统应用结合过程中,也会把一些传统的安全问题放大,比如由于AI技术的快速迭代,现有AI应用的开发流程、安全建设流程无法完全覆盖相关新型业务组件的引入等。

绿盟天元实验室高级安全研究员、M01N战队核心成员祝荣吉,图源腾讯安全官方微信公众号

云起无垠模型安全研究负责人、知攻善防实验室核心成员刘洋也进一步提到,随着AI应用场景越来越多落地,新型的安全风险也在加速暴露出来。

像ChatGPT的“奶奶漏洞”、AI架设到前端小程序以及App过程中潜在的API泄露风险、AI编辑器使用过程中,源代码上传途中的代码被“截胡”、中间人攻击等风险、文件上传到AI应用过程中的漏洞等。

除此之外,基于函数调用的大模型越狱攻击等等安全风险,也在持续暴露出来。

2、新态势下的网安建设:“以模治模”,用AI对抗AI

上述态势下,摆在产业界的一个关键在于:

在卷大模型技术、卷应用之外,也要卷安全。

腾讯云主办的这次研讨会上,一直活跃在网安攻防实战一线的嘉宾们,也重点分享了他们在现阶段,通过引入AI大模型技术和能力,强化网安建设的思考和建设经验。

京东蓝军-白鵺攻防实验室的安全研究员Knight认为,大模型安全需要系统性方法来解决,模型侧与系统侧的紧密合作至关重要。基于ExpAttack框架,其提出了构建“大模型越狱第二大脑”的创新思路,旨在通过大模型技术来解决大模型的安全难题。

京东蓝军-白鵺攻防实验室安全研究院Knight,图源腾讯安全官方微信公众号

具体来看,Knight提出了“大模型越狱的CODE构建法”,通过捕获、结构化、提炼、表达四个环节,构建起了一个能够高效处理知识的“第二大脑”。

据了解,该方法利用向量数据库、图数据库等技术,分层次对大模型越狱相关的论文进行分析、存储,再通过LLOOM for jailbreak算法,对277篇大模型攻击方向的进行聚类,最后再通过存储的数据提取进行基于论文方法的自动化越狱攻击生成。

再比如,针对主流大模型在函数调用参数生成阶段可能存在的漏洞隐患,西安电子科技大学博士、西安智能系统安全重点实验室成员吴子辉提到,该类型的漏洞根源,在于参数生成阶段缺乏安全对齐机制,且系统级强制执行模式绕过模型自主决策。

基于此,其团队提出了参数安全过滤、提示词防御及安全对齐训练三层解决方案,目前相关成果已被顶级会议接收,并触发了Reddit社区新型攻击变种演化。

此外,祝荣吉也提到,在此前的一次攻防实战演习中,其团队在防御系统中融入了三种比较核心的防护机制手段,从应用提示词内容强化、结构强化、流程强化这三个方面,提升了防护效果。

从上述嘉宾们的分享来看,不难发现,面向AI时代的网安建设,如何用AI来对抗AI,正成为一项关键命题。

连线Insight也注意到,目前从产业界来看,“以模治模”也正加速成为新共识。

其中,作为最具代表性的安全厂商之一,腾讯云也在加速布局。

比如,DeepSeek等AI大模型带来应用热潮以及大模型开源潮后,很多企业为了获得更好的响应速度、更高的数据安全性,以及在特定任务上更好的表现等考虑,私有化部署成了很多企业应用大模型的首选方式。

然而,大模型本地化部署过程中,AI工具更容易暴露在公网环境中,引入了潜在的安全隐患。

为了帮助企业及时洞察、应对这些风险,腾讯云安全中心可以依托全面资产扫描、实时漏洞检测、云资源风险检查、体检报告生成这四项体检能力,帮助企业及时发现AI风险,保护自身数据和算力资源,进而保障业务的稳定运行。

暴露面扫描配置示意图,图源腾讯安全官方微信公众号

目前,腾讯云安全中心支持一键同步云上资产,支持添加云外资产,事实/定期对资产进行全端口扫描、服务识别、指纹测绘、漏洞扫描、暴露路径管理(CLB、安全组等配置识别)。

再从整体来看,基于过往多年在自身业务安全建设上的攻防实践经验,腾讯云如今自上而下都构建起了纵深防御体系,沉淀出了一套具备可复制性的、云原生的高安全等级架构,通过服务器硬件安全优化、可信计算技术与供应链安全保证云基础设施安全等多重机制,来保障云基础设施一体化安全。

另一方面,在产品维度,腾讯云安全则是整合构建了“4+N”体系,为所有私有云、公有云、混合云等不同形态客户提供全面的产品供给。

长远来看,AI时代的网络安全建设仍然处于探索初期,但在用“AI对抗AI”的新共识下,像腾讯云这样的硬核玩家,正脚踏实地死磕技术,帮助更多客户、中小企业筑牢安全防线。

特此声明
本文为正观号作者或机构在正观新闻上传并发布,仅代表该作者或机构观点,不代表正观新闻的观点和立场,正观新闻仅提供信息发布平台。
分享至

还没有评论,快来抢沙发吧!