登录

齐向东:用标准迎战大模型时代的安全挑战


速读:齐向东:用标准迎战大模型时代的安全挑战2024-12-0918:34:50来源:央广网。 齐向东在“网络安全大模型与安全协同能力的思考――用标准迎战大模型时代的安全挑战”主题演讲中表示,针对大模型时代对安全防护提出的各种挑战,可用强制性合规标准进行应对。 大模型时代对安全防护提出三大挑战。 用强制性合规标准应对大模型的三大安全挑战。 一是对安全设备的日志和告警提出挑战。
2024-12-09 18:34:50 来源:央广网

央广网北京12月9日消息 12月8日至11日,全国网络安全标准化技术委员会2024年第二次“标准周”活动在海口市举行。中国网信办副主任、全国网安标委主任委员王京涛,海南省委常委、宣传部部长王斌出席全体会议并发表讲话。全国政协委员、全国工商副主席、奇安信集团董事长齐向东,理想汽车副总裁、信息安全负责人赵东,海康威视副总裁、首席安全官王滨等代表,分享新理念新格局下的网络安全政策、技术、产业发展新思路,探讨新技术新应用新业态的标准需求。

齐向东在“网络安全大模型与安全协同能力的思考――用标准迎战大模型时代的安全挑战”主题演讲中表示,针对大模型时代对安全防护提出的各种挑战,可用强制性合规标准进行应对。当前,大模型在各行业广泛应用,我们必须加快制定并落实针对大模型的强制性合规标准,确保其研发、训练、部署全流程的安全要求与最佳实践得以严格遵循。

大模型时代对安全防护提出三大挑战

新技术驱动社会变革,也加剧着安全危机。在这种安全新形势下,安全大模型是有效的应对法宝,能整体提升安全防护水平。齐向东总结了大模型时代对安全防护提出的三大挑战,并分享了奇安信的解决方案。

一是对安全设备的日志和告警提出挑战。人工智能大幅降低了网络攻击门槛,让不懂代码、不懂技术的普通人也能成为黑客,网络攻击数量大幅增加。专业的黑客组织还能利用人工智能对攻击进行改造升级,“饱和式”攻击成为可能,原有的网络安全运营体系能被轻松打垮。人力不足使得大量告警被忽视,成为网络安全的最大漏洞。同时,日志和告警数据信息量有限,颗粒度不细、缺乏上下文关联和过程展现,难以被安全大模型理解,影响安全防护效果。

二是对安全事件分析知识提出挑战。大模型时代,安全事件分析的机制发生了变化:传统的安全事件分析依赖人的个体知识,难以实现经验的有效传承与复用;大模型可以吸收人的经验和知识,在学习所有已知做题方式的基础上,继续打破人的认知局限,快速分析研判安全事件。但安全专家的经验多存在于脑海,书面表达缺失、质量参差不齐,难以转变为安全大模型需要的精准“知识”。

奇安信凭借位居全国首位的安全数据规模,以及长期安全实战积累下丰富的安全实践经验,为大模型预训练打下了坚实基础。一方面,奇安信有足够多的基础安全数据用于训练安全大模型,另一方面,奇安信还拥有足够贴近实战的一手原始语料用于大模型推理。接下来,奇安信将拓展这些优势,丰富安全大模型的知识,让大模型更“聪慧”。

三是对安全设备的协同标准提出挑战。在大模型时代,如何让安全设备和安全大模型实现充分对话、无缝衔接,成为接下来的核心任务。然而,许多安全设备没有告诉安全大模型自己能做什么,导致大模型无法调动这些设备进行有效的安全防护。

奇安信已经将安全大模型与安全产品深度融合,实现“集群式”作战。AISOC、天眼、天擎EDR、椒图产品目前都已经融入了安全大模型能力,实现了安全运营工作效率的大幅跃升。

用强制性合规标准应对大模型的三大安全挑战

面对大模型的安全挑战,我们还需关注其自身在基础设施、数据安全和输出接口方面的安全问题。

在大模型IT基础设施方面,算力资源环节若出现防护纰漏,可能导致整个算力网络安全隐患,造成严重损失。同时,大模型基础环境可能存在漏洞或后门,主流AI算力框架也曾出现漏洞被利用的情况。

在大模型数据安全方面,窃取大模型数据的手段多样,如劫持攻击、提示词注入攻击、员工不当操作、爬虫技术等屡见不鲜。更令人担忧的是,投毒攻击和数据污染事件频发,不仅扰乱输出内容,甚至会影响社会认知。

在大模型输出接口安全方面,API作为常见的开放方式,其接口数量多带来漏洞和后门隐患,身份验证和授权机制不完善,容易导致数据被窃取、篡改或破坏,直接影响大模型自身安全。

“面对这些安全挑战,完善大模型强制性合规标准迫在眉睫。”齐向东强调,大模型实践先行的局面已经形成,各行业大型机构都在积极开展大模型应用。但运用越广泛,安全威胁也越大,必须加快跟进针对大模型的强制性合规标准,确保研发、训练、部署过程的安全要求和最佳实践得到遵守。

比如,在大模型审计方面,强化知识产权合规、数据合规、算法合规等标准;在专业安全评估方面,明确评估范围和目标、建立适用于大模型的评估流程和管理制度、协助制定整改计划等;专业安全产品保障方面,强化全生命周期安全、完善整体应对方案、用好安全检测工具。

此外,在“标准周”的标准护航新型工业化发展研讨会上,奇安信被正式授予“数据安全优质企业培育推进工作组”首批成员单位。

为了支撑工信部等16部委的数据安全产业指导意见,特别是培育数据安全优秀企业的相关要求,中国电子技术标准化研究院制定了企业数据安全硬科技属性评价指标体系。奇安信作为工作组的首批成员,将全力协助完善该指标体系,为准确评判数据安全企业的硬科技水平提供有力支撑,填补当前行业空白,推动数据安全产业的健康有序发展。

主题:大模型|安全大模型|奇安信