加速释放AI动能，宝德AIGC解决方案发布

脑壳昏 2023-10-24 15:24:45  64209

分类专栏：资讯

一键部署，灵活定制

宝德AIGC解决方案架构图

宝德AIGC解决方案是软硬一体化解决方案，既可以集群部署也可以单机部署，方案架构包含硬件层、平台层、服务层和应用层。在硬件层，宝德充分发挥了20年服务器行业技术积累，提供了x86和ARM架构的CPU/GPU/NPU/XPU等、涵盖AI训练服务器、AI推理服务器和AI边缘产品等多平台兼容，进行模型的高速训练、微调和高效推理。在硬件基础上，方案采用K8S进行集群资源管理（单机部署采用Docker）。

基于雄厚的硬件层和平台层，在服务层部署了ChatGLM大模型推理服务、由GLM微调而来的行业大模型-宝德酒业大模型推理服务、宝德自研的嵌入数据仓库服务，可以将行业数据转换成向量数据，存储到向量数据库中，通过相似度匹配算法查询出相关内容交给大语言模型进行推理、LLM Functions服务，主要让大语言模型拥有调用后端接口的能力。基于这些硬件和服务，宝德开发了诸如聊德宝、AI客服和数字人等多种AI应用，可广泛服务于行业大模型、智能语音助手、网络直播、线上教育和培训等领域。

值得一提的是，宝德深耕行业多年，基于对市场的理解和对客户生成式AI多样性的计算需求，可提供生成式AI解决方案的定制化服务。

性能卓越、成本可控

AIGC快速发展之时，算力越来越紧缺和成本越来越高，逐渐成为影响AIGC发展和落地应用的“绊脚石”。并且，从大模型的发展和应用看，AI推理的规模远高于训练，有效降低推理成本成为宝德的思路。对此，宝德技术团队经过反复测试和调优，精心准备了全部采用Intel全新的至强处理器（Max系列）平台，以及Intel GPU的AIGC解决方案，使其集强大的AI计算、推理性能和卓越的经济效益于一体，以充分释放AI动能。

第四代英特尔®至强®可扩展处理器MAX系列CPU在大语言模型（LLM）推理方面有独特优势。它有32至56 个内核，可提供最高 112 线程，内置英特尔高级矩阵扩展（AMX）的AI加速功能，可帮助诸如图像识别、对象探测等任务中的张量处理获得多倍效率提升，并可用于INT8、BF16等不同数据格式，性能高达上一代10倍。而且所有MAX处理器都内置了64 GB的HBM2e 高带宽内存，分为4个16 GB 的集群，总内存带宽为1 TB / s，能够解决大模型工作负载经常受到内存带宽限制的窘境，数倍提升推理性能。并且，其价格极具竞争力。

宝德在基于此CPU和Intel Flex GPU的自研服务器PR2715E上开发部署了LLM 方案-聊德宝，它拥有调用私域数据的能力，让AI应用更加智能化、个性化地为用户提供服务，目前已经应用于宝德服务器AI客服、金沙古酒AI客服、金沙古酒直播数字人等产品。聊德宝具有快速迁移、便捷部署、多路并发的显著优势；最重要的是，该方案价格同比其它常规方案最高节约超过50%！

大模型和AIGC正在日新月异地蓬勃发展，加速应用场景落地和引领产业变革势不可挡。宝德将继续发挥AI优势，提高自身技术水平，融合行业和伙伴创新技术和能力，不断迭代优化生成式AI解决方案，打造高效便利和更加普惠的AI基础设施，加速释放AI动能，更好地服务中国数字经济高质量发展！

网站声明：如果转载，请联系本站管理员。否则一切后果自行承担。

本文链接：https://www.xckfsq.com/news/show.html?id=27801

赞同 0

评论 0 条

加速释放AI动能，宝德AIGC解决方案发布

相关文章

关注我们