大数据新范式:MLOps到底是什么?

全文共1727字,预计学习时长5分钟图源:Google数字化将DataOps这一概念引入人们生活的同时,大数据正引入一种新的范式——MLOps。鉴于DevOps

大家好,关于大数据新范式:MLOps到底是什么?很多朋友都还不太明白,今天小编就来为大家分享关于的知识,希望对各位有所帮助!

来源:谷歌

当数字化将DataOps的概念引入人们的生活时,大数据正在引入一种新的范式——MLOps。鉴于DevOps和DataOps在实践中的使用越来越多,这项业务需要机器学习模型使用的所有参与者不断合作和互动,包括业务人员、工程师、大数据开发人员(数据科学家和机器学习专家)。

MLOps 仍然是一个相对较新的概念,但对其的需求与日俱增。 2018年前后,在谷歌举办的一场演讲后,行业专业人士首次公开谈论工业运营(生产)中机器学习生命周期一体化管理的必要性。

将机器学习模型引入实际业务的实践并不局限于神经网络或其他机器学习算法的数据准备、开发和训练。从验证数据集到在可靠的大数据生产环境中测试和部署数据集,产品解决方案的质量受到多种因素的影响。

在机器学习解决方案的开发、测试、部署和支持过程中,多学科专家在交互中遇到许多组织挑战和技术障碍,这不仅延长了创建产品的时间,而且降低了产品为业务带来的价值。实际值。

为了消除这些障碍,MLOps 的概念应运而生。与DevOps和DataOps类似,MLOps旨在提高工业机器学习解决方案的自动化和质量,同时考虑监管需求和商业利益。

因此,MLOps是一个结合系统开发和运营支持(包括集成、测试、发布、部署、基础设施管理等),实现机器学习系统生命周期复合化、自动化管理的文化概念和应用实例。

可以说,MLOps以敏捷方法和技术工具扩展了CRISP-DM方法论(CRISP-DM跨行业数据挖掘标准流程),可以自动执行包括数据、机器学习模型、代码和环境在内的操作。

这些工具包括Cloudera 的Data Science Workbench —— Cloudera Data Science Workbench,它将MLOps 付诸实践,帮助数据科学家避免CRISP-DM 经典阶段的常见陷阱和问题。

大数据新范式:MLOps到底是什么?

MLOps 对商业和数据科学的十大好处

在实施MLOps 带来的所有好处中,最突出的是机器学习工业部署细节中的敏捷方法:

· 通过可靠、有效的机器学习生命周期管理来减少时间并获得高质量的结果。

· 持续开发(CD)、持续集成(CI)和持续培训(CT)方法和工具确保工作流程和模型的可重复性。

· 随时随地轻松部署高精度机器学习模型。

· 集成管理系统,持续监控机器学习资源。

· 消除组织障碍,汇集多学科机器学习专家的经验。

因此,使用MLOps 您可以优化以下机器学习操作:

· 统一机器学习模型和相关软件产品的发布周期。

大数据新范式:MLOps到底是什么?

· 机器学习组件的自动化测试,例如数据验证、机器学习模型本身的测试及其与产品解决方案的集成。

· 在机器学习项目中实施敏捷原则。

· 支持CI、CD、CT系统中的机器学习模型和数据集。

· 使用机器学习模型来减少技术债务。

来源:谷歌

值得注意的是,MLOps 的实践应该与语言、框架、平台和基础设施无关。从技术角度来看,MLOps系统的整体架构应包括用于收集和聚合大数据的平台、用于分析和准备机器学习建模数据的应用程序、用于执行计算和分析的工具以及自动移动机器学习模型及其生命周期用于关联数据和软件产品的工具。

通过这种方式,数据科学家、数据工程师、机器学习专家、大数据解决方案架构师和开发人员以及使用统一高效管道的DevOps 工程师的工作任务有望部分或完全自动化。

用户评论

大数据新范式:MLOps到底是什么?
有恃无恐

终于看到有人科普 MLOps了!我一直对AI模型训练和部署很困惑,感觉这方面知识缺失严重,这篇博客解释得很好,让我对MLOps有了更深的理解。希望能看到更多关于MLOps具体应用案例的文章。

    有8位网友表示赞同!

大数据新范式:MLOps到底是什么?
追忆思域。

写得不错,把MLOps的核心概念讲得很清晰!不过我觉得作为新手阅读,一些详细的工具和技术的介绍会更实用一些。比如哪个平台适合部署 MLOps?什么开源框架比较推荐?

    有13位网友表示赞同!

大数据新范式:MLOps到底是什么?
命该如此

对大数据时代的“新范式”很感兴趣! 以前只知道机器学习模型如何训练,但对于如何在实际应用中高效、可控地部署模型一直摸不着头脑。MLOps能解决这些痛点吗?期待了解更多实战经验分享。

    有9位网友表示赞同!

大数据新范式:MLOps到底是什么?
素婉纤尘

总觉得MLOps就像是一种工程实践,将机器学习融入业务流程,实现自动化和持续迭代,这听起来很有意思!不过实际操作起来会不会很复杂呢?需要什么样的团队才能完美落地MLOps呢?

    有13位网友表示赞同!

大数据新范式:MLOps到底是什么?
几妆痕

这种“新范式”听起来有点抽象!感觉很多技术都是停留在理论层面,缺乏具体的落地案例。希望以后能看到更多企业应用MLOps的成功经验分享,这样才能更好理解它的价值。

    有18位网友表示赞同!

大数据新范式:MLOps到底是什么?
雪花ミ飞舞

大数据加上 MLOps 的结合确实很让人期待!未来应该会有很多新的应用场景和突破吧!这篇文章让我对未来的机器学习发展充满信心!

    有14位网友表示赞同!

大数据新范式:MLOps到底是什么?
月下独酌

我对“新范式”表示支持!一直觉得AI模型的训练和部署需要更加高效、可控,MLOps能提供很好的解决方案。希望更多企业能意识到 MLOps 的价值,加大投入。

    有13位网友表示赞同!

大数据新范式:MLOps到底是什么?
﹎℡默默的爱

我觉得 MLOps 更像是对现有机器学习流程的一种升级迭代,并不完全是一个全新的概念!对于已经熟练掌握机器学习技术的开发者来说,也许需要花一些时间理解和适应MLOps的理念和工具。

    有8位网友表示赞同!

大数据新范式:MLOps到底是什么?
纯情小火鸡

感觉这篇文章写的比较局限,仅仅停留在介绍MLOps的概念阶段,缺乏深入的分析和探讨。比如如何评估MLOps的效果?有哪些常见的问题和挑战?希望作者能进一步深化文章内容。

    有20位网友表示赞同!

大数据新范式:MLOps到底是什么?
古巷青灯

这个 “新范式” 对于传统软件开发模式来说是个巨大冲击,需要进行大量的技术架构和流程调整!企业要成功实施 MLOps 需要投入大量的人力和时间。对于一些中小企业来说可能会比较困难。

    有5位网友表示赞同!

大数据新范式:MLOps到底是什么?
太难

我一直在思考如何将机器学习模型应用到生产环境中,MLOps正好解决了我的一些难题!希望能看到更多关于MLOps实践技巧的分享,比如模型监控、版本控制等具体操作方案。

    有15位网友表示赞同!

大数据新范式:MLOps到底是什么?
坠入深海i

大数据时代真的让人心惊肉跳!感觉每一代新的技术都像是颠覆性的,而 MLOps 更是把机器学习与开发流程结合在一起,实现持续迭代,未来可期!

    有9位网友表示赞同!

大数据新范式:MLOps到底是什么?
等量代换

对MLOps 感兴趣,感觉是未来人工智能发展的方向。希望能在今后学习更多有关该技术的知识和技能。

    有10位网友表示赞同!

大数据新范式:MLOps到底是什么?
青袂婉约

总觉得MLOps这个概念有点过于抽象,需要更直观的案例和应用来解释。也许可以结合一些具体的行业场景,让读者更容易理解MLOps的价值和意义。

    有15位网友表示赞同!

大数据新范式:MLOps到底是什么?
秒淘你心窝

MLOps 听起来很有意思,但对目前人工智能发展水平来说是不是还是一个比较遥远的梦想呢?希望技术的进步能够早日实现MLOps的普及化应用!

    有18位网友表示赞同!

大数据新范式:MLOps到底是什么?
|赤;焰﹏゛

以前觉得AI模型部署主要是通过手动操作,现在看来需要更自动化和可持续的方式。MLOps 作为一种解决方案确实很有吸引力,期待它能推动人工智能技术的发展。

    有19位网友表示赞同!

大数据新范式:MLOps到底是什么?
不忘初心

对“新范式”的概念感到惊讶,感觉MLOps将彻底改变我们对AI模型的认知和使用方式!不过也担心 MLOps 的应用成本会很高,中小企业难以接受。

    有16位网友表示赞同!

大数据新范式:MLOps到底是什么?
拉扯

这篇文章对 MLOps 的介绍很有帮助,但觉得还不够深入。比如 MLOps 具体有哪些工具和技术?如何选择合适的平台?这些问题都需要进一步解答。

    有11位网友表示赞同!

原创文章,作者:小su,如若转载,请注明出处:https://www.sudun.com/ask/137438.html

Like (0)
小su的头像小su
Previous 2024年9月18日 下午12:27
Next 2024年9月18日 下午12:31

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注