ML:MLOps系列讲解之系列知识解读之完整总结系列内容(第一章~第九章)
导读:您将了解如何使用机器学习,了解需要管理的各种变更场景,以及基于ml的软件开发的迭代性质。最后,我们提供了MLOps的定义,并展示了MLOps的发展。
目录
1.2、Scenarios of Change That Need to be Managed需要管理的变化的场景
2、设计机器学习驱动的(ML-powered)软件—我们想要解决的业务问题是什么?
2.1、Work Flow Decomposition工作流程分解
4.1、Data: Data Engineering Pipelines
4.2、Model: Machine Learning Pipelines
4.3、Code: Deployment Pipelines
5.1、Iterative-Incremental Process in MLOps MLOps中的迭代增量过程
5.8、“ML Test Score” System “机器学习成绩”系统
5.10、Loosely Coupled Architecture (Modularity) 松散耦合架构(模块化)
5.11、ML-based Software Delivery Metrics (4 metrics from “Accelerate”) 基于ML的软件交付指标(来自“加速”的4个指标)
5.12、Summary of MLOps Principles and Best Practices
6、CRISP-ML (Q)ML生命周期过程—了解机器学习开发的标准过程模型。
6.1、Business and Data Understanding业务和数据理解
6.2、Data Engineering (Data Preparation)数据工程(数据准备)
6.3、Machine Learning Model Engineering机器学习模型工程
6.4、Evaluating Machine Learning Models评估机器学习模型
6.6、Monitoring and Maintenance监控和维护
7.2、Documenting MLOps Architecture 记录MLOps架构
7.3、MLOps Maturity Level MLOps 成熟度级别
在机器学习解决方案的开发、测试、部署和支持过程中,多学科专家在互动中会遇到许多组织难题和技术障碍,这不仅延长了产品创建的时间,还降低了产品带给该项业务的实际价值。
为了消除这些障碍,MLOps这一概念应运而生。MLOps是一门工程学科,旨在统一 ML 系统开发(dev)和 ML 系统部署(ops),以标准化过程生产高性能模型的持续交付。行业内,大多数的ML 系统的生命周期如下所示:
2018年左右,在谷歌举办的一场演讲之后,业内专业人士首次公开谈及工业运行(生产)中机器学习生命周期集成化管理的必要性。
自2019年起,MLOps连续两年进入Gartner数据科学与机器学习技术成熟度曲线,并被视为AI工程化的重要内容。MLOps将与AI工程化的DevOps、DataOps协调联通、互相赋能。
推荐文章:Paper:《Hidden Technical Debt in Machine Learning Systems》翻译与解读
举个简单的例子,几年前,我们对于机器学习的印象主要是拿到一堆excel/csv数据,通过python编程,尝试做一些模型实验,最终会产出一个预测结果。但对于这个预测结果如何使用,对业务产生了什么影响,大家可能都不是很有概念。这就很容易导致机器学习项目一直停留在实验室阶段,一个接一个做POC测试(Proof of Concept),但都没法成功“落地”。
MLOps的主要作用就是连接模型构建团队和业务,运维团队,建立起一个标准化的模型开发,部署与运维流程,使得企业组织能更好的利用机器学习的能力来促进业务增长。
就像今日的软件工程师很少需要关注运行环境,测试集成,发布流程等细节,但却做到了一天数次发布的敏捷高效,未来算法工程师应该也能更专注于数据insights获取方面,让模型发布成为几乎无感又快速的自动化流程。
数字化将DataOps这一概念引入人们生活的同时,大数据正引入一种新的范式——MLOps。鉴于DevOps和DataOps在实践中越来越多的运用,该项业务需要机器学习模型使用过程中的所有参与者一直保持合作与互动,包括业务人员、工程师、大数据开发人员(数据科学家和机器学习专家)。
与DevOps和DataOps类似,MLOps旨在提高自动化程度和工业机器学习解决方案的质量,同时兼顾监管需求和业务利益。MLOps是机器学习ML与DevOps的结合,旨在将敏捷软件工程的一些成熟功能引入机器学习和人工智能。机器学习生态系统需要一个强大的DevOps一样的框架、工具链和流程,将开发人员、数据科学家和操作员聚集在一起,通过有效的DevOps战略,组织可以加快向最终用户运送新功能和服务的速度。
MLOps是结合系统开发和运营支持(包括集成、测试、发布、部署、基础设施管理等操作),以实现机器学习系统生命周期复合化和自动化管理的文化理念和应用实例。MLOps是机器学习模型管理实践和标准流程,衔接模型的开发、部署和运维,涉及算法、业务及运维团队,旨在提升模型生命流程的开发、部署、运维效率,促进模型规模化落地应用。
MLOps借助敏捷的方法和技术工具扩展了CRISP-DM方法论(CRISP-DM跨行业数据挖掘标准流程),从而可以自动执行包括数据、机器学习模型、代码和环境在内的操作。这些工具中包括了Cloudera公司的数据科学工作台——ClouderaData Science Workbench,将MLOps付诸实践有助于数据科学家在CRISP-DM经典阶段规避常见陷阱和问题。
DevOps通过缩短开发部署的时间来更快地迭代软件产品,使得公司业务不断进化。MLOps的逻辑也是通过相似的自动化和迭代形式,加快企业从数据到insights的价值获取速度。
参考文章
机器学习新概念-MLOps简介_java、c++、机器学习方向King-CSDN博客_mlops 开源框架
什么是 MLOps? - 知乎
Machine Learning Operations=Design+Model Development+Operations
Machine Learning Operations是借助机器学习模型操作化管理(MLOps),我们希望提供端到端的机器学习开发过程,以设计、构建和管理可再生、可测试和可演进的ML驱动软件。
作为一个新兴的领域,MLOps正在数据科学家、ML工程师和AI爱好者中迅速获得势头。遵循这一趋势,持续交付基金会SIG MLOps将ML模型管理与传统软件工程区分开来,并建议以下MLOps能力:
相关文章:ML:MLOps系列讲解之《MLOps的定义与发展—你为什么可能想使用机器学习》解读
2.3.1、机器学习画布(v1.0),THE MACHINE LEARNING CANVAS (V1.0)
相关文章:ML:MLOps系列讲解之《设计机器学习驱动的(ML-powered)软件—我们想要解决的业务问题是什么?》解读
相关文章:ML:MLOps系列讲解之《端到端 ML工作流生命周期》解读
4.1.2、Exploration and Validation
4.2.5、Different forms of ML workflows不同形式的机器学习工作流程
4.2.6、ML Model serialization formats 机器学习模型序列化格式
4.3.1、Model Serving Patterns模型服务模式
4.3.2、Deployment Strategies部署策略
相关文章:ML:MLOps系列讲解之《基于ML的软件的三个层次》解读
5.6.1、Features and Data Tests特征和数据测试
5.6.2、Tests for Reliable Model Development可靠模型开发的测试
5.6.3、ML infrastructure test机器学习基础设施测试
相关文章:ML:MLOps系列讲解之《MLOps原则—迭代增量过程/自动化/持续部署/版本控制/实验跟踪/测试/监控/“ML成绩”系统/可再现性/松散耦合架构(模块化)/基于ML的软件交付指标/MLO等》解读
相关文章:ML:MLOps系列讲解之《CRISP-ML (Q)ML生命周期过程—了解机器学习开发的标准过程模型—业务和数据理解→数据工程(数据准备)→ML模型工程→评估ML模型→模型部署→模型监控和维护》解读
相关文章:ML:MLOps系列讲解之《MLOps Stack Canvas堆栈画布》解读
本部分介绍了治理流程的概述,这些流程是MLOps不可或缺的一部分。
网站声明:如果转载,请联系本站管理员。否则一切后果自行承担。
加入交流群
请使用微信扫一扫!