⼤模型在⽹络安全⽅⾯的应⽤汇总

介绍

大规模语言模型（LLM）的出现给传统计算机科学的许多领域带来了颠覆性的变化。这波变革也正在冲击网络安全领域，引发一系列重大变化和影响。 GPT-4、Gemini 和Llama 2 等大型模型以其卓越的自然语言处理能力重新定义了我们对数据安全和网络防御的理解，创造了检测和缓解安全威胁的新方法。本文广泛探讨了法学硕士在网络安全中的各种应用，并展示了法学硕士如何帮助提高数字世界的安全和保护。

LLM在安全检测中的应用

大规模语言模型（LLM）在自动代码生成、纠错和代码修复等任务中的卓越性能正在为漏洞检测领域带来前所未有的进步。 2023 年，检测到近29,000 个CVE。随着CVE 数量的增加，对有效漏洞检测和管理的需求也随之增加。

LLM 越来越多地用于设计增强代码开发和管理的工具。 Devin AI、GitHub Copilot、IBM 的watsonx、Amazon CodeWhisperer 和Codeium 等人工智能驱动的工具可以执行代码生成、代码完成、代码修复和代码重构等复杂任务。

对人工智能代码助手安全性的研究表明，它们的漏洞比人类开发人员少。 LLM 有潜力通过将自然语言描述转换为代码来彻底改变软件开发领域。这些工具不仅降低了新开发人员的进入门槛，还有助于减少软件开发过程中的漏洞，展示了LLM在减少软件开发缺陷方面的显着优势。

通过结合GPT 和静态分析工具，GPTScan 能够以高精度和可接受的召回率有效检测智能合约中的逻辑漏洞，并快速且经济高效地发现人类审计人员可能遗漏的新漏洞。

图1 GPTScan工具架构图

LLM不仅负责检测漏洞，还负责自动修复漏洞。例如，谷歌的大型模型Gemini成功修复了大量通过清除工具发现的漏洞。此外，像AutoCodeRover 这样的解决方案在自动修复代码漏洞方面表现出了显着的效率。该系统在12 分钟内解决了67 个GitHub 问题。这比普通人类开发人员需要的时间要多得多。

图2 AutoCodeRover和SWE-agent-REP解析任务对比

漏洞检测工具LLbezpeky通过精心设计的提示工程和搜索强化生成技术，在识别和修复Android端漏洞方面展现出巨大潜力，在基准测试中正确标记了91.67%的Gheras。

图3 LLbezpeky漏洞检测工具测试样本结果

这些应用展示了LLM高效识别和缓解软件漏洞威胁的能力，为未来自动化安全分析工具的开发提供了宝贵的参考和启发。通过利用LLM强大的上下文分析功能，网络安全专业人员可以主动响应潜在威胁并降低被利用的风险。

除了代码开发之外，LLM还用于增强或自动化各种常见的安全分类器。它们在检测有害内容、执行政策合规性以及审核在线平台上的内容方面发挥着关键作用。

随着有害内容在社交平台上持续增长，仇恨言论、骚扰和网络欺凌等问题对所有用户，尤其是弱势用户产生巨大的负面影响。这个问题不仅涉及多语言交流，还涉及语言风格的不断变化，甚至表情符号的使用。

数据增强策略的另一个例子是使用LLM为多语言常识推理任务生成合成数据，这显着提高了数据稀缺条件下的跨语言性能。

图12 使用丰富数据集后每个LLM的平均准确率

获取现实世界数据集时的另一个挑战是暴露敏感或敏感信息的风险。安全调查中使用的数据，例如电子邮件数据（用于网络钓鱼检测）、社交媒体数据（用于内容审核）、网络流量数据等，都存在隐私泄露的风险。对于敏感数据集，LLM 可以使用差分隐私等技术进行微调，以解决隐私问题并保护敏感信息，同时允许模型有效地从数据中学习。此外，数据增强策略提高了跨语言性能，并允许模型在不同语言和环境中表现良好，这使得它们对于全球网络安全应用特别有用。

FewGen 方法通过调整预先训练的语言模型来自动生成大量高质量的训练样本，以增强其小样本学习能力，并通过生成的元加权最大似然目标来强调它们。我们生成标签识别文本，并在GLUE 基准测试中的七个分类任务上取得了比现有方法更好的结果。

图13 FewGen 在GLUE 基准测试中的七个分类任务上的平均性能优于现有方法。

用于网络安全任务的LLM需要大量的低噪声标注数据来进行训练和评估，但正如前面提到的，获得大规模、高质量的数据几乎是不可能的，并且仍然很难获得大规模的数据。数据。模型内部很可能出现内存问题，并且是否有可能建立一个具有良好泛化性的模型，目前还没有明确的答案。

一种可能的方法是通过无监督学习，允许模型通过未标记的数据集学习在线对话，然后微调模型（这是一种监督学习方法）以帮助完成下游任务，然后仅应用少量标签。在最后。由于需要数据，标签生产成本显着降低。日志分析研究证明，LLM经过适当微调后，可以非常有效地分析网络安全日志，其中DistilRoBERTa模型的性能特别好。

LogGPT就是这一策略的具体实现。一种基于ChatGPT的日志异常检测框架。利用大型语料库的知识传递能力，有效识别系统日志中的异常事件，并提供卓越的可解释性，提高异常检测的准确性和可理解性。

图14 LogGPT 工作流程

上述应用展示了LLM在网络安全流量建模中的作用，并帮助检测网络通信中的各种威胁和异常。

通过不断的技术进步，法学硕士将有效解决数据稀缺和隐私问题，为构建更加安全和值得信赖的数字世界做出贡献。

LLM用于降低您的风险

LLM的广泛使用带来好处的同时，也带来了新的安全和隐私风险，例如即时注入攻击和有害内容的生成。这些风险需要对法学硕士进行仔细的安全评估和监督，以确保它们提高效率和创新能力，但不会成为恶意活动的工具或威胁个人隐私。

为了降低这些风险，研究人员正在努力开发保障措施、安全过滤器和对抗性训练技术。

做到这一点的一种方法是实施安全检查和控制，也称为护栏。例如，文本到图像模型的安全过滤器可以防止生成不适当的内容。这些过滤器分析输入的文本提示，并根据预设的安全标准决定是否生成相应的图像。如果输入文本包含暴力、色情或其他不当内容，安全过滤器将阻止为该内容生成图像。 Llama Guard是一种基于LLM的输入/输出安全模型，不仅可以对文本提示进行分类，还可以对生成的响应进行分类，确保人机对话中生成的内容安全且适当。

图15 Llama Guard 响应分类任务示例

识别人工智能生成的内容（深度伪造）是否被用于欺诈一直是研究领域的热门话题。水印框架有助于识别人工智能生成的内容并防止滥用。该水印框架无需重新训练LLM即可生成水印文本，并且随后在识别水印文本时具有可以忽略不计的误报率。

图16 水印检测错误率

红队通过模拟真实攻击者的行为来评估您组织的安全性。您可以测试您的法学硕士以识别漏洞并提高其稳健性。通过使用对抗性示例进行训练，LLM 变得更能抵抗攻击，并且在现实场景中更加可靠。

为了对抗逃避攻击，对抗性训练结合了令人困惑的徽标和其他对抗性示例，以提高防御模型针对网络钓鱼等威胁的稳健性。有几种策略可以提高法学硕士的防御能力。例如，GPT-LENS 框架通过引入两个对抗性代理角色来识别和评估潜在的漏洞：审计员和审查员。

图17 GPT-LENS，增强LLM防御能力的对抗框架

此外，研究人员还开发了各种方法来提高对抗性训练的有效性。例如，通过在训练数据中引入干扰标志和对抗性示例，模型变得更加稳健，可以应对分叉网络钓鱼等威胁。其他研究使用了将传统静态分析工具与法学硕士相结合的混合方法，以提高漏洞检测和修复的效率。

GPTFUZZER 是一个自动化黑盒越狱模糊测试框架，可生成和修改越狱模板，以在面临潜在不适当或有害内容的产生时测试大型语言模型，并增强安全性和稳健性。

图18 GPTFUZZER 工作流程

MASTERKEY框架利用LLM独特的高级文本处理功能来自动生成和微调越狱提示，以暴露和绕过内置防御机制，从而对LLM聊天机器人进行深入的安全测试。

图19 MASTERKEY框架系统运行图

尽管当前的LLM 防御已经取得了一些成功，但仍然可以通过提示注入攻击来规避这些防御。因此，开发更强大的对抗训练方法和防御机制是一个正在进行的研究方向。通过不断开发这些防御技术，安全研究人员正在努力减轻法学硕士在现实应用中面临的潜在威胁。

结论

将LLM融入网络安全实践无疑是一个颠覆性的举动，将彻底改变网络安全的面貌。 LLM不仅可以通过先进的算法识别和修复软件漏洞，还可以通过自然语言处理技术提高内容审核的准确性和效率。此外，将LLM应用于数据增强可以构建更稳健的模型，同时还可以通过自动化和智能工具增强网络安全专业人员的决策能力。

这些模型带来了新的风险，但持续的研究和改进的安全措施将帮助我们更好地利用它们的力量。随着技术的不断发展和成熟，有理由相信LLM将在网络安全领域发挥越来越重要的作用，为数字世界带来更多的安全和信任。

作者：徐越

2024 年7 月26 日

桃源研究所

#以上关于网络安全中应用大规模模型的信息是从源网络总结出来的，供大家参考。相关信息请参见官方公告。