成功实践丨安擎助力大模型在企业级市场落地

安擎 2024-06-11 14:07:33  29866

分类专栏：资讯

大模型发展进入第二阶段，已经从通用大模型转向垂直大模型的深度定制，赋能产业数字化发展，助力大模型在企业级场景中的使用。

某互联网企业自研认知型通用大模型，并已构建起大模型训练框架，把垂直大模型数据处理、预训练、精调的复杂过程流水线化、标准化，可支持根据业务场景进行定制，帮助企业提升客户服务体验、优化业务流程、提高生产效率。

- 客户需求 -

· 高性能：大模型训练过程中需要对海量的数据进行复杂的计算，需要高性能服务器的支撑；

· 高带宽：足够的带宽以支撑服务器之间的数据传输和通信；

· 稳定性：大模型的训练通常需要运行数小时、数天甚至数周，需要服务器具有稳定性与可靠性；

· 易管理：对服务器进行远程操作和维护。

- 解决方案 -

针对客户需求，安擎部署AI服务器EG840-G30，支持PCIe4.0技术，采用先进的硬件设计，在4U空间内支持10张全高全长双宽的计算卡，帮助用户高效完成AI基础设施和开发环境的构建。延续上一代高品质、高兼容性设计，实现更好的显存和性能扩展，大幅加速AI模型训练，满足用户对多样算力和快捷部署的需求。

·EG840-G30·

- 客户价值 -

√ 高性能：服务器可支持10张计算卡，运行速率比上一代提高20倍，有效地加快训练速度并提高训练的效果；

√ 高带宽：可搭配最新的100G以太网卡和400G Infiniband网卡，提供强大的IO吞吐能力；

√ 稳定性：GPU平台可以通过检测、控制并持续纠正错误和故障，确保GPU在高计算环境中的安全，保障训练与推理流程不中断；

√ 易管理：IPMI和KVM Over IP高级管理功能，可远程对服务器进行任务调度、资源分配以及错误诊断。

网站声明：如果转载，请联系本站管理员。否则一切后果自行承担。

本文链接：https://www.xckfsq.com/news/show.html?id=53805

赞同 2

评论 0 条

成功实践丨安擎助力大模型在企业级市场落地

相关文章

关注我们