持续贡献开源社区,麒麟软件方案修复K8s NUMA调度BUG


巨人儒雅
巨人儒雅 2023-10-13 14:58:55 54065
分类专栏: 资讯

在相关项目中,采用麒麟云原生平台,基于K8s调度相关的scheduler-plugins和node-feature-discovery项目深度定制开发了NUMA感知调度功能,以满足特定客户需求。在开发测试验证环节,分别发现开源社区的scheduler-plugins和node-feature-discovery项目存在以下问题。

 

问题现象描述

scheduler-plugins是K8s调度SIG的扩展库项目,用于增强K8s默认调度器的功能。其中,noderesourcetopology插件支持NUMA感知调度,但若某台服务器的NUMA节点中存在未插入内存条的情况,可能会出现问题:分配给Pod的NUMA节点组合中可能包含这些无内存的节点,导致Pod无法正常运行。

 

node-feature-discovery是K8s另一个SIG的项目,用于收集节点硬件信息,包括NUMA拓扑信息。同样,若某个节点的NUMA节点存在未插入内存条的情况,node-feature-discovery服务也可能无法启动,从而无法获取节点的NUMA拓扑信息。

 

问题定位

针对scheduler-plugins问题,经过定位发现:findSuitableCombination函数在选取NUMA node组合时未经过充分的考虑。如下图所示,该函数主要是在循环检查每一种NUMA node组合,针对具体一种NUMA node组合,首先计算组合内资源总和(下图所标识的第一步),接着判断该资源总和是否满足pod资源请求(下图所标识的第二步)。假设一种NUMA node组合为 "2,3,6",2和6的内存之和满足pod内存请求,但是3没有插入内存条,此时依然认为 "2,3,6"组合是满足要求的。

 

针对node-feature-discovery问题,经过定位发现,GetNumaMemoryResources函数在计算服务器上的NUMA node的memory与hugepages信息时发生错误,该函数默认所有NUMA node都有内存条,导致遍历计算某些未插入内存条的NUMA node的hugepages信息发生错误。如下图所示:getHugepagesBytes函数计算某些未插入内存条的NUMA node的hugepages信息会发生错误,导致整个node-feature-discovery服务启动失败。

 

问题修复

基于上述分析及定位,麒麟软件推出修复方案:

 

(1)针对scheduler-plugins问题,在循环检查每一种NUMA node组合中,先对具体的NUMA node组合进行有效性校验,对不存在某种资源的非法组合进行过滤,有效的组合才会进行接下来的计算。

 

(2)针对node-feature-discovery问题,GetNumaMemoryResources函数遍历计算服务器上的NUMA node的memory与hugepages信息时,如果getHugepagesBytes函数返回的错误是文件或者目录不存在则跳过该计算。

网站声明:如果转载,请联系本站管理员。否则一切后果自行承担。

本文链接:https://www.xckfsq.com/news/show.html?id=27570
赞同 0
评论 0 条
巨人儒雅L2
粉丝 0 发表 10 + 关注 私信
上周热门
如何使用 StarRocks 管理和优化数据湖中的数据?  2956
【软件正版化】软件正版化工作要点  2875
统信UOS试玩黑神话:悟空  2839
信刻光盘安全隔离与信息交换系统  2733
镜舟科技与中启乘数科技达成战略合作,共筑数据服务新生态  1267
grub引导程序无法找到指定设备和分区  1231
华为全联接大会2024丨软通动力分论坛精彩议程抢先看!  165
2024海洋能源产业融合发展论坛暨博览会同期活动-海洋能源与数字化智能化论坛成功举办  163
点击报名 | 京东2025校招进校行程预告  163
华为纯血鸿蒙正式版9月底见!但Mate 70的内情还得接着挖...  159
本周热议
我的信创开放社区兼职赚钱历程 40
今天你签到了吗? 27
如何玩转信创开放社区—从小白进阶到专家 15
信创开放社区邀请他人注册的具体步骤如下 15
方德桌面操作系统 14
用抖音玩法闯信创开放社区——用平台宣传企业产品服务 13
我有15积分有什么用? 13
如何让你先人一步获得悬赏问题信息?(创作者必看) 12
2024中国信创产业发展大会暨中国信息科技创新与应用博览会 9
信创再发力!中央国家机关台式计算机、便携式计算机批量集中采购配置标准的通知 8

加入交流群

请使用微信扫一扫!