华为张迪煊：共筑智能根基，引领AI新未来

华为昇腾计算业务总裁 张迪煊

尊敬的各位领导、各位专家、各位来宾，大家下午好！

今天，非常高兴和大家再次相聚在WAIC 昇腾人工智能产业峰会现场。在上海这座具有深厚文化根基，又具备日新月异发展速度的城市，我们共同见证了昇腾AI产业生态的快速发展。我谨代表华为昇腾计算业务，再次欢迎大家的到来！

今天我的演讲主题是《共筑智能根基，引领AI新未来》。

在过去的一年，昇腾AI产业加速发展，走进了更多的行业、城市、高校和科研单位，更多的伙伴和开发者都选择昇腾作为创新的首选。

昇腾产业发展离不开每一位业界同仁的共同努力，再次感谢各级领导、专家、伙伴和开发者对昇腾AI一路以来的信赖和支持。

相信大家也有同感，在超大AI算力及创新算法的支持下，人工智能正在快速发展，进一步影响甚至改变着我们的世界。用三个词来概括的话就是：跨越、融合和创造。

很幸运，我们都处在这个AI爆发的黄金时代，承担着不同使命。

当然，更需要我们一起努力，把我们基于昇腾的创新带入到各个场景中去，以创造更多价值，共同促进行业智能升级。

这两年大模型带来了750倍的算力需求增长，而硬件的算力供给仅增长3倍，存在巨大的GAP。为了应对大规模算力场景，基于华为公司在ICT领域30多年的积累，实现了从节点的创新到集群的创新，通过系统级协同全面升级了AI集群的规模和效率。

这几年，通过支撑各地人工智能计算中心和华为云的AI集群建设，我们积累了丰富的集群交付和部署经验 ，已累计部署了超千柜的昇腾AI集群，在AI集群维度，是部署数量最多的厂家。

我们会把在城市积累的AI集群建设经验，复制到行业中去，以更好的支撑运营商、金融、互联网等行业集群建设，使能行业大模型的创新。

今天，在工信部和中电标协的指导下，我们也联合成立了“大模型产业应用工作组”，相信一定可以更好地推进我国大模型应用落地。

为了更好的支撑和加速大模型的创新，我们也在CANN、框架、工具链等基础软件上持续深耕，围绕开发、训练、微调、推理等环节，全流程使能大模型。

在大模型的开发上，开发模式正在从“API-based”走向“模型-based”。为此，我们提供多个开源大模型套件，让大模型的开发“开箱即用”，只需要十几行代码即可完成全流程的脚本开发，降低了大模型的开发门槛。

大模型的训练对于分布式并行训练提出更高要求，华为已在大规模分布式并行计算上有多年的技术积累，打造Ascend Speed加速库实现多维混合并行能力，千卡规模的调度效率，领先业界15%。

微调作为大模型被赋予行业属性的关键环节，决定着应用效果。我们提供低参微调模板，集成了多种微调的算法，如LoRA、P-Tuning等，仅需5%的参数微调，即可实现全参微调效果。此外，我们也支持千亿模型的人类反馈强化学习，并已在Gitte上开源。

大模型参数量巨大，面临推理部署难、成本高等问题，为此我们在MindStudio上集成了自动的剪枝、蒸馏和量化工具，在精度损失<0.5%基础上做到了20倍模型压缩。

最后在推理阶段，基于昇腾推理引擎可对接各框架的推理API和业务中台系统，支持在线分布式推理，实现应用快速上线，推理时延<50ms，满足业务需求。

算子和模型是用户的核心资产，昇腾通过基础软件的能力开放，全面兼容业界的三方生态，支持高效的迁移和适配。

面向三方算子的迁移开发，结合Ascend C编程语言以及MindStudio算子迁移工具，2周内可实现GPU算子的迁移及调试。

面向模型开发，我们也兼容PyTorch上的三方生态比如openMMLab、Hugging Face等社区的模型开发套件，以及 deepspeed、Megatron等各类加速库，无需额外代码，直接参考配置文件，组件化方式即可实现基于昇腾+PyTorch模型开发。

最后，面向业界基于GPU所孵化的大模型，昇腾也提供了一站式工具，支撑大模型高效、无损的迁移至昇腾。2行代码，分钟级即可完成脚本的分析和迁移，天级完成全网模型的精度调优，和训练性能的定位处理，大模型端到端的无损迁移周期从原来的月级大幅提升至现在的2周左右，并获得了科大讯飞等客户的充分认可。

我们有了大算力、大模型，如何打通行业落地的最后一公里，是我们需要解决。尤其是在大模型时代，存在开发周期长，部署门槛高，客户环境要求等系列挑战，传统攒机试的开发模式已经难以满足需求，导致无法规模落地。

为此，我们联合上下游伙伴，针对大模型方案重塑开发流程，改变原来的硬件算力、模型算法开发的串行开发模式。我们和伙伴一起共同定义市场、共同联合创新、共同上市推广，缩短研发流程，提升产品生命周期。

人工智能的另一个重要方向是科学智能，我们也会打造更强大的科学计算基础库，多样性算力融合的编译器以及面向场景提供丰富的科学智能套件。一方面，提升系统处理科学计算的性能，另一方面，屏蔽跨领域所带来的开发难度，让AI真正成为科研生产力工具，融入更多学科领域。

目前，AI已在分子模拟、流体仿真、电磁仿真、气象预报等领域已经大显身手，展现指数级性能提升的能力。就在上午，基于昇腾开发的“东方.翼风”大模型也获得了WAIC大会最高荣誉奖项 — SAIL奖，让机翼气动仿真用时做到了原来的千分之一，也将在气动领域加速国计民生行业跨越式创新。

科学智能的发展也需要从政策鼓励到奖项牵引再到相关的基金扶持，相信在业界同仁的共同努力下，AI一定能为科学工作者带来更多新思路、新方法，也为我们产业输入新的动力。

昇腾生态的发展，也是一个和伙伴共同成长和共赢的过程。我们将坚定以使能伙伴为基础，发展商业生态。

今年，我们进一步硬件开放，提供了全新的模组、多种能力的标卡，以及丰富的开发文档和参考设计，使能伙伴打造多样，且更具竞争力的硬件产品，覆盖推理服务器、训练服务器、边缘网关、工控机、机器人等多种形态，来共同打造坚实的算力底座，今天，我们的12家整机伙伴和11家IHV伙伴也都将基于昇腾，发布各具优势和特点的新品。

为了更好的做大市场空间，实现商业共赢，今年我们将继续执行昇腾万里合作伙伴计划，同时在今天正式发布昇腾伙伴网络APN。立足于华为分销体系，依托总代供货的销售支持、双线的技术支持和多种商务权益为牵引，APN伙伴基于昇腾打造自有品牌的硬件产品或解决方案。目前，首批12家APN伙伴已启动合作，部分伙伴已完成产品开发、即将上市，这也让昇腾系列的硬件产品更加丰富，开拓更多市场空间。

只有“基础打得牢、技术扎得深、生态更紧密”，人工智能产业的参天大树才能够繁荣发展。我们会坚定在人工智能领域战略投入，打好基础软硬件这片“黑土地”，让更多伙伴来“种庄稼”，共同开创人工智能新的时代。

让AI创新“集群”而来 ，让AI未来“加速” 而来！