增强亚马逊云科技上的App Sec生成式AI集成（亚马逊 云产品）

关键词： [reInforce、Amazon Bedrock、生成式AI 安全、应用程序安全测试、大规模语言模型、基础设施安全、模型漏洞]

本文共：篇1900字。读完需要： 10分钟。

导读

在本次演讲中，Wesley Snell 和David Matson 讨论了将生成式人工智能集成到Amazon 云技术测试环境中时提高应用程序安全性的策略。他们探索了生成式人工智能模型带来的独特安全挑战，并提供了缓解三个层面威胁的实用技术：基础设施、模型构建工具和应用程序。重点包括保护模型格式、防御主动行为和提示注入攻击，以及利用BEDROCK GUARDRAILS 等工具进行内容过滤。演讲重点讨论了亚马逊云技术如何利用生成式人工智能，通过严格的威胁建模、应用程序安全审查和尖端测试方法来实现安全创新。

演讲精华

以下是我们的编辑为您整理的本次演讲的要点。全书共1600字，阅读时间约8分钟。

在不断创新的技术世界中，生成式人工智能的集成是一股变革力量，正在重塑应用安全格局。该视频探讨了组织在利用这一尖端技术的同时保持强大的安全态势所必须采取的独特挑战和策略。故事始于亚马逊云技术实践安全高级经理Wesley Snell 和专门从事生成式AI 系统渗透测试的安全工程师David Matson。他们的作用对于确保我们提供新服务和功能至关重要。为了向客户提供由人工智能驱动的生成功能，在部署它们之前安全地部署它们非常重要。

斯内尔强调，从初创公司到大型企业，各种规模的组织都正在从生成式人工智能的早期实验中获得切实的好处。亚马逊云技术利用数十年的人工智能创新经验，为客户提供强大的功能、有竞争力的价格，最重要的是，为客户提供安全的创新环境。亚马逊云技术不仅限于为客户提供单一模型，还提供Amazon Bedrock 等产品，让您可以开发自己的大规模语言模型或从值得关注的行业领导者中进行选择。

亚马逊云技术在推出服务或功能之前会经过严格的应用程序安全审查流程。此过程需要构建者、开发人员和服务团队提供详细信息，例如设计架构审查、潜在数据分类、互连技术、API 和其他组件。这项全面的评估为您进行威胁建模练习做好准备，这是一项思考练习，旨在提出有关与新技术和服务相关的潜在威胁、挑战和支持控制的安全问题。

斯内尔引入了生成式人工智能堆栈的概念。它是一个三层模型层，用作分析和解决生成式人工智能带来的安全挑战的框架。底层基础设施层重点关注数据保护、基础设施安全、容器运行时安全和账户安全。该层的重点是确保模型安全、适当的隔离和严格的访问控制，以遵守最小权限原则。 Mattson 深入研究了基础设施层并解释了大型语言模型的组成部分。这些模型由权重（神经网络中神经元的数字表示）和代码（包括激活函数、损失函数、误差函数和自定义架构）组成。 Mattson 强调了用于存储和分发这些模型的常见格式（例如pickle 文件和H5 文件）的激增。

然而，Mattsson 透露了与H5 文件相关的供应链漏洞。他创建了一个工作机器学习文件，对二进制文件进行了更改，并表明当加载到TensorFlow 中时，程序将由于内存访问冲突而意外终止。虽然不是完全远程代码执行的升级，但这个概念说明了对TensorFlow 的潜在影响，并强调了对安全模型格式的需求。 Mattson 特别指出，今年早些时候，35 个CVE 披露影响了一个名为libh5 的库。 PyTorch 和TensorFlow 使用该库来读写H5 文件。他表示，这两个框架还没有吸收libh5库的上游补丁，因此几乎所有的CVE都会影响它们。

Mattson 推荐SAFE TENSORS，这是一种出于内存安全目的而用Rust 编写的模型格式。安全张量仅序列化模型的紧凑权重表示，但所有相关的自定义代码仍保留在原始运行时环境中。主要模型存储库正在积极推广使用安全张量，以减轻pickle 和H5 文件固有的缺点。

斯内尔解释说，转移到中间层会将焦点转移到代码漏洞和恶意代码操纵上。该层使用代理测试来评估模型的行为、结构和功能，以评估其编码方案是否容易受到模板注入攻击、混淆代理攻击和其他潜在漏洞的影响。还进行了应用程序逻辑测试，并仔细检查了模型输出是否存在潜在漏洞，例如跨站点脚本和SQL 注入攻击。

Matson 引入了代理行为的概念，赋予模型通过提供的工具和操作与外部世界交互的能力。他在涉及电子商务聊天机器人的场景中解释了这一概念，该聊天机器人可以读取和总结产品评论并代表客户购买产品。在此示例场景中，客户运行一个网站并构建一个其他客户可以向其销售的聊天机器人。聊天机器人通过阅读和总结外部电子商务网站上的产品评论来协助购物。您还可以直接从此外部网站购买产品。

在这种情况下，Amazon 云技术账户拥有三个资源：它们支持聊天应用程序的大型语言模型（可能是客户自己的模型、SageMaker 端点或Bedrock），以及一个联系人：我有一个名为lambda 的函数。用于检索产品评论的外部电子商务API，以及允许模型在外部网站上购买产品的另一个lambda 函数。

然而，Matson : 通过间接提示注入发现了一个微妙的攻击向量。当您使用不受信任的第三方电子商务网站时，包含看似注入提示（HTML标签、系统命令、购买说明等）的评论可能会导致意外错误，例如在大语言模型中可能会导致意外购买。行为。马特森说，两星评论包括HTML 标签、系统停止命令、购买特定产品（猫相框）的说明，模特说：“太好了，我买了一个猫相框。”

为了减轻这种风险，此人强调了确定性行为的重要性，这确保了模型行为保持一致和可预测。他建议使用TOP-P 和TOP-K 等参数，这些参数会影响决策过程中考虑的单词的数量和概率。此外，此人认识到大规模语言模型的统计和概率性质可能会导致不良结果，并强调需要识别可变动作。

在应用层面，另一个人强调了用户直接与模型交互时直接模型导出的数据泄漏和陷阱。在此级别，我们使用基于提示的测试来设计尝试规避模型本身设置的安全措施的提示。使用OOPS、LLM TOP 10 和自定义专有测试用例构建的框架，用于评估模型遵守指令并避免敏感或令人不快的响应的能力。

在基础设施层面，确保H5 文件等模型格式免受二进制利用攻击，并采用SafeTensors 等安全格式对于减少供应链漏洞非常重要。模型开发级别侧重于减轻风险，例如代理行为，其中模型可能执行意外操作，并使用确定性行为和操作确认维护等技术进行控制。

应用层解决数据泄露、模型导出和可绕过保护措施的基于提示的攻击等威胁。通过基岩护栏和内容过滤器等技术来防范通用可转移攻击(UANTI) 等新兴攻击非常重要。随着生成人工智能领域的快速发展，持续评估、观察和规划新出现的威胁也很重要。

本演讲将探讨采取主动和敏捷的安全态势、利用行业最佳实践以及解决道德问题的重要性，以实现生成式人工智能的变革潜力，同时降低风险。我们鼓励组织随时了解情况，利用OWASP LLM Top 10 等资源，并与Amazon Cloud Technologies 合作来解决这个动态和不断发展的领域。

上述#Powering App Sec Generations AI Integrations on Amazon Cloud Technologies相关内容来源网络仅供参考。相关信息请参见官方公告。