lasticDL Kubernetes 原生深度学习框架

电梯物联网专家 2024-01-08 09:45:50  54010 赞同 0 反对 0

分类：资源

ElasticDL 是一个基于 TensorFlow 2.0 构建的 Kubernetes 原生深度学习框架，支持容错和弹性调度。

TensorFlow 具有故障可恢复的原生分布式计算功能，在某些进程挂掉的情况下，分布式计算作业将停止，但是可以重新启动作业并从最新的检查点文件中恢复其原有状态。

ElasticDL 在此基础上支持容错。ElasticDL 不需要检查点也不需要从检查点恢复，在某些进程挂掉的情况下，该作业将继续运行。

容错的特性使得 ElasticDL 与基于优先级的 Kubernetes 抢占一起实现了弹性调度能力。当 Kubernetes 杀死某个作业的某些进程以为具有更高优先级的新作业释放资源时，当前作业不会停止，而是使用更少的资源继续运作。弹性调度可以显着提高集群的整体利用率。

ElasticDL 弹性调度的特点来自其 Kubernetes 原生设计，它不依赖于像 Kubeflow 这样的 Kubernetes 扩展来运行 TensorFlow 程序。ElasticDL 作业的主进程直接调用 Kubernetes API 来启动工作程序和参数服务器，它还会监视诸如 process/pod killing 之类的事件，并对此类事件做出反应以实现容错。

此外，ElasticDL 还可以与 SQLFlow 配合，更加易于使用。

如果您发现该资源为电子书等存在侵权的资源或对该资源描述不正确等，可点击“私信”按钮向作者进行反馈；如作者无回复可进行平台仲裁，我们会在第一时间进行处理！

评价 0 条

相关资源

五大关键能力，华为云原生数据仓库GaussDB(DWS)深度技术解读 2024-01-13 49483 浏览
五大关键能力，华为云原生数据仓库GaussDB(DWS)深度技术解读
react 深入了解react合成事件底层原理，原生事件中阻止冒泡是否会阻塞合成事件？一 2024-01-01 50400 浏览
本篇文章就来着重介绍react中的合成事件，在文章开始之前我们先罗列部分问题：
人工智能：TensorFlow深度学习框架介绍 2023-12-25 50643 浏览
今天给大家简单介绍一下TensorFlow深度学习框架，欢迎互相交流学习！
react 深入了解react合成事件底层原理，原生事件中阻止冒泡是否会阻塞合成事件？二 2024-01-01 50501 浏览
接上一篇react 深入了解react合成事件底层原理，原生事件中阻止冒泡是否会阻塞合成事件？一
基于深度卷积神经网络的垃圾分类识别系统 2024-01-03 53212 浏览
基于深度卷积神经网络的垃圾分类识别系统
ln创建链接的深度剖析 2023-12-31 53105 浏览
建立硬链接和软链接非常简单，那这两种链接有什么区别？它们都有什么作用？这才是链接文件最不容易理解的地方，我们分别来讲讲。
深度操作系统Live系统下修改用户密码-解救忘记密码的尴尬 2024-01-03 54668 浏览
Live系统下修改用户密码-解救忘记密码的尴尬
react 深入了解react合成事件底层原理，原生事件中阻止冒泡是否会阻塞合成事件？三 2024-01-01 51514 浏览
接上一篇react 深入了解react合成事件底层原理，原生事件中阻止冒泡是否会阻塞合成事件？二
GitHub与深度学习：两者如何交织？ 2023-12-29 51438 浏览
深度学习是当前人工智能领域的一个重要分支，它通过模拟人脑神经网络的工作方式来训练模型，使得计算机能够完成一些复杂的任务，如图像识别，自然语言处理等。而GitHub，则为深度学习提供了丰富的资源和便利的工具。
G1分代回收原理深度图解：为什么回收性能比传统GC更好 2023-12-28 50921 浏览
1、前文回顾上篇文章给大家分析了一下G1垃圾回收器设计的思想，主要是把内存拆分为很多个小的Region，然后新生代和老年代各自对应一些Region，回收的时候尽可能挑选停顿时间最短以及回收对象最多的Region，尽量保证达到我们指定的垃圾回收系统停顿时间。这篇文章我们继续一步一图，把G1垃圾回收器工作的时候，从对象在内存中的分配到垃圾回收的触发，给大家来分析一下。

lasticDL Kubernetes 原生深度学习框架

相关资源

关注我们