大家好，今天来为大家分享8 个最流行的机器学习模型部署工具的一些知识点，和的问题解析，大家要是都明白，那么可以忽略，如果不太清楚的话可以看看本篇文章，相信很大概率可以解决您的问题，接下来我们就一起来看看吧！
推荐：使用NSDT编辑器快速构建可编程3D场景
1、Seldon.io
Seldon.io 提供了Seldon 核心，一个开源框架。该框架简化并加速了机器学习模型部署。 Seldon 处理和服务在任何其他开源ML 框架中构建的模型。 ML 模型部署在Kubernetes 中。由于它随Kubernetes 一起扩展，因此我们能够使用最先进的Kubernetes 功能（例如自定义资源定义）来处理模型图。
Seldon 还提供将项目与持续集成和部署(CI/CD) 工具连接起来的能力，以扩展和更新模型部署。它有一个警报系统，如果在监控生产中的模型时出现问题，它会通知您。可以定义模型来解释某些预测。该工具可在云端和本地使用。
谢顿的优点：
定制离线模型。向外部客户端公开API 以进行实时预测。简化部署过程。谢顿的缺点：
设置可能有点复杂。对于新人来说学习可能会很困难。
2、BentoML
BentoML 简化了构建机器学习服务的过程。它提供了一个基于Python的标准架构，用于部署和维护生产级API。该架构允许用户使用任何ML 框架轻松打包经过训练的模型，以进行在线和离线模型服务。
BentoML 的高性能模型服务器支持自适应微批处理以及独立于业务逻辑扩展模型推理工作器的能力。 UI 仪表板提供了一个用于组织模型和监控部署过程的集中式系统。
其模块化设计允许在现有的GitOps 工作流程中重复使用配置，并且自动docker 映像生成使部署到生产成为一个简单且版本化的过程。
多用途框架解决了服务、组织和部署ML 模型的问题。主要重点是将数据科学和DevOps 部门连接起来，提供更高效的工作环境并生成高性能、可扩展的API 端点。
BentoML 的优点：
易于大规模部署预测服务的实用格式以单一统一格式实现高性能模型服务和部署支持模型部署到多个平台，而不仅仅是KubernetesBentoML 缺点：
不专注于实验管理。不处理开箱即用的水平缩放。
3、TensorFlow Serving
如果您想将经过训练的模型部署为端点，可以使用TensorFlow Serving。它允许您创建一个将为经过训练的模型提供服务的REST API 端点。
TensorFlow Serving 是一个强大的高性能系统，用于服务机器学习模型。您可以轻松部署最先进的机器学习算法，同时保持与其各自端点相同的服务器架构。它足够强大，可以服务不同类型的模型和数据以及TensorFlow 模型。
它由谷歌创建并被许多顶级公司使用。将模型作为集中模型存储库提供服务是一种很好的方法。服务架构足够高效，可以允许大量用户同时访问模型。
如果由于大量请求而发生拥塞，可以使用负载均衡器轻松维护。总体而言，系统具有良好的可扩展性、可维护性和高性能。
TensorFlow 服务的优点：
一旦部署模型准备就绪，该工具就可以轻松地为其提供服务。它可以向同一模型发出批量请求，从而有效地利用硬件。它还提供模型版本管理。该工具易于使用，并负责模型和服务管理。 TensorFlow 服务的缺点：
加载新模型或更新旧模型时无法确保零停机。仅适用于TensorFlow 模型。
4、Kubeflow
Kubeflow 的主要目标是维护机器学习系统。它是专为Kubernetes 设计的功能强大的套件。主要操作包括打包和整理docker容器，帮助维护整个机器学习系统。
Kubeflow 简化了机器学习工作流程的开发和部署，使模型可追溯。它提供了一组强大的ML 工具和架构框架来高效执行各种ML 任务。
多功能UI 仪表板可以轻松管理和跟踪实验、任务和部署运行。 Notebook 功能使我们能够使用指定的平台开发套件与ML 系统进行交互。
组件和管道是模块化的，可以重复使用以提供快速解决方案。该平台由Google 推出，旨在通过Kubernetes 服务TensorFlow 任务。后来它扩展到执行整个机器学习管道的多云、多架构框架。
Kubeflow的优点：
简化新团队成员的入职流程。标准化流程有助于建立安全性并更好地控制基础设施。 Kubeflow的缺点：
很难手动设置和配置。高可用性不是自动的，需要手动配置。该工具的学习曲线很陡。
5、Cortex
Cortex 是一种开源多框架工具，足够灵活，可以用作模型服务工具以及模型监控和其他目的。
凭借其处理不同机器学习工作流程的能力，它使您可以完全控制模型管理操作。它还可以作为使用SageMaker 工具以及基于AWS 服务（例如Elastic Kubernetes Service (EKS)、Lambda 或Fargate）的模型部署平台提供模型服务的替代方案。
Cortex 扩展到Docker、Kubernetes、TensorFlow Serving 和TorchServe 等开源项目。它可以与任何机器学习库或工具结合使用。它提供端点可扩展性来管理负载。
它允许您在单个API 端点中部署多个模型。它还充当在不停止服务器的情况下更新生产端点的解决方案。它涵盖了模型监控工具的足迹、监控端点的性能和预测数据。
皮质优势：
自动缩放可确保您的API 在网络流量波动时保持安全。支持Keras、TensorFlow、Scikit-learn、PyTorch等平台。更新模型时无需停机。皮质的缺点：
设置过程可能有点令人畏惧。
6、AWS Sagemaker
AWS Sagemaker 是Amazon 提供的一项强大服务。它使机器学习开发人员能够快速构建、训练和部署机器学习模型。
它通过删除一些复杂的步骤来简化整个机器学习过程，从而提供高度可扩展的机器学习模型。
机器学习开发生命周期是一个复杂的迭代过程。它迫使您集成复杂的工具和工作流程。这项任务可能要求很高且令人恼火，并且会消耗您大量的时间。更不用说配置时出错的麻烦了。
Sagemaker 使这个过程变得更容易，在集中式工具集中提供机器学习的所有组件。无需配置每个项目，因为它已经安装并可供使用。
这可以以最小的努力和成本加速模型的生产和部署。该工具可与使用任何机器学习框架创建的端点一起使用。它还提供预测跟踪和捕获以及计划监控。
AWS Sagemaker 的优势：
设置过程很简单，可以使用Jupyter Notebook 运行。因此，简化了脚本的管理和部署。成本是模块化的，取决于您使用的功能。模型训练是在多台服务器上完成的。 AWS Sagemaker 的缺点：
初级开发人员的学习曲线很陡峭。严格的工作流程使定制变得困难。仅在AWS 生态系统中提供
7、MLflow
如果您正在寻找开源工具来组织整个机器学习生命周期，那么MLflow 可能是适合您的平台。
MLflow 提供用于管理ML 流程和部署的解决方案。它可以进行试验、复制、部署或成为中央模型注册表。
该平台可供个人开发人员和团队用于机器学习部署。它可以合并到任何编程生态系统中。该库的构建是为了满足各种技术需求，并且可以与不同的机器学习库一起使用。
围绕四个主要功能组织整个机器学习生命周期：跟踪、项目、模型和模型注册表。
它有助于简化自动化ML 模型跟踪的过程。但它的缺点之一是它不能自动处理模型定义。这意味着需要手动将额外的工作添加到模型定义中。
MLflow的优点：
模型跟踪机制易于设置。它提供了非常直观的API服务。日志记录实用且精简，使实验变得容易。代码优先方法。 MLflow 的缺点：
向模型添加额外的工作并不是自动的。这并不容易，但非常适合将模型部署到不同的平台。
8、Torchserve
Torchserve 是一个Pytorch 模型服务框架。它简化了训练有素的PyTorch 模型的大规模部署。它消除了为模型部署编写自定义代码的需要。
Torchserve 由AWS 设计并作为PyTorch 项目的一部分提供。这使得人们可以轻松地使用PyTorch 环境构建模型。
它支持低延迟的轻量级服务。部署的模型具有高性能和广泛的可扩展性。
Torchserve 具有用于某些ML 任务的内置库，例如对象检测或文本分类。它可以节省您编写代码的时间。它提供了强大的功能，例如多模型服务、用于A/B 测试的模型版本控制、用于监控的指标以及用于应用程序集成的RESTful 端点。
火炬服务的优点：
原创文章，作者：小su，如若转载，请注明出处：https://www.sudun.com/ask/185916.html
用户评论
怅惘
这篇博客介绍的机器学习模型部署工具都很不错！我最近在寻找一些合适的工具来部署我的模型，这个列表真是太有用了！尤其是觉得KServe和Seldon Core很有潜力，会试一试。
有14位网友表示赞同！
别留遗憾
这个清单真的很有帮助！我已经使用过TensorFlow Serving 和 TorchServe 了，他们确实很强大。 想了解更多关于kubeflow 的信息，因为我一直在寻找容器化解决方案。
有19位网友表示赞同！
轨迹！
部署机器学习模型真是个复杂的过程啊! 幸好看到这篇文章让我认识到一些常用的工具。以前总是自己折腾，感觉非常消耗时间和精力。
有14位网友表示赞同！
微信名字
这个列表确实很有参考价值，但是我觉得它缺失了一些比较新兴的工具。比如MLOps平台MLflow也不错
有7位网友表示赞同！
不离我
我觉得这篇文章对入门者来说太理论了，没有详细讲解每个工具的使用方法和优缺点对比，我想要更加具体的实践建议。
有6位网友表示赞同！
执笔画眉
作为一名数据科学家，我每天都在和模型部署打交道。这个列表涵盖了大部分常用的工具，但我想强调一下，选择合适的工具取决于具体场景的需求！
有15位网友表示赞同！
从此我爱的人都像你
我觉得文章比较偏向于技术层面的讲解。 能加入一些关于模型生产化和MLOps的理念的讨论会更加完美!
有19位网友表示赞同！
孤城暮雨
学习用这些工具来部署模型很有必要，我现在还在上学阶段，希望毕业后能在实际项目中运用这些知识!
有5位网友表示赞同！
安好如初
这篇文章很 informative！ 我现在正在探索 Kubernetes，看来Kubeflow 是一个值得尝试的工具。
有6位网友表示赞同！
陌離
虽然我是一位软件工程师，但我一直在学习机器学习。感谢作者分享这份整理，让我更了解常用的部署工具！
有13位网友表示赞同！
浅嫣婉语
部署机器学习模型真是门技术活啊!这篇文章提到的工具大多都是大型企业的解决方案，对于小团队来说有些复杂。
有14位网友表示赞同！
淡淡の清香
文章介绍的这些工具都非常强大，但是很多工具的使用都需要一定的机器学习专业知识，对初学者来说可能比较难入门。希望以后能看到一些针对初学者的部署指南。
有15位网友表示赞同！
墨城烟柳
我一直在使用 TensorFlow Serving 来部署我的模型，感觉挺满意！ 但我也想尝试一下其他工具看看是否可以实现更好的性能和效率。
有13位网友表示赞同！
代价是折磨╳
机器学习工具发展得真的太快了！ 这篇文章让我意识到自己要持续学习和升级自身的技能。
有6位网友表示赞同！
败类
我觉得这篇博文有点缺少实际案例，如果能结合一些具体的场景说明每个工具的优缺点，会更有帮助。
有7位网友表示赞同！
微信名字
部署模型需要考虑很多因素，比如资源约束、性能要求等等。这篇文章只列罗了各种工具，并没有深入分析这些方面，希望作者能够进一步完善!
有18位网友表示赞同！
红玫瑰。
我之前一直都把模型部署看成一个麻烦事儿！经过阅读这篇文章后，感觉有了些启发，也许我会尝试使用一些自动化工具来简化流程。
有9位网友表示赞同！
凉话刺骨
对于一个非技术背景的人来说， 这篇文章的专业术语对我来说有些吃力。希望能有更通俗易懂的解释和案例说明!
有8位网友表示赞同！