ZAO 2024中关村在线年度调查推选年度抢先解决计划Leading Solutions 30（以下简称LS30），为职业用户更好的供给更好的挑选，助力职业优质解决计划与技能计划。

  华为昇腾AI推理场景化解决计划能够参加本次评选。现在，人工智能重塑工业高质量开展形式的趋势已毋庸置疑。为充沛开释其潜力，人工智能需更深化地融入经济社会的各个旮旯，量体裁衣地引领各职业迈向数字化晋级。在这一进程中，华为昇腾AI推理场景化解决计划凭仗超强算力、高效能、敞开易用等特性，为多个职业供给定制化AI推理服务，明显提高事务功率，引领AI推理场景化，助推数智化转型。

  当时，AI在移动使用、才智城市、智能制作等多个范畴发挥着及其重要的效果，成为提高日子质量、推进工业晋级的要害力气。但是，在一些要害范畴及职业笔直细分场景的使用仍需进一步深化，以激起新技能、新产品、新业态的出现，这一进程便面临许多应战：

  首要难题是数据量缺少，因为出产封闭性和设备非信息化，导致高质量数据难以获取，数据零星且缺失严峻。其次，算力要求高，工业出产里AI使用需高精度，但云端核算虽能满意需求，却会添加传输网络本钱并影响出产功率，因而端侧算力需求增大。最终，算法模型迭代困难，传统职业缺少AI算法开发人才，协作研制壁垒高。

  面临新的痛点与需求，昇腾AI推理场景化解决计划正式对外发布。为了更好地匹配大模型的推理需求，华为根据昇腾AI根底软硬件，向业界供给使能推理使用快速开发、高效布置的大模型推理解决计划。一起，华为正在以以体系级架构立异，经过昇腾根底软硬件、昇腾云服务及华为云三大中心纽带中心，打造大模型年代的首选渠道。

  该解决计划经过启发式并行解码等系列化推理加快技能，完成使用吞吐最高6倍提高，让单位吞吐的本钱更优。一起，既供给昇腾原生服务化才能，也支撑对vLLM、TGI等三方服务结构的快速适配，让事务上线时刻更短。除此之外，为多机推理供给了完好的弹性推理软件栈，在满意TCO要求的一起，支撑灵敏弹性扩容。

  除了硬核技能外，华为还携手业界同伴和客户不停地改善改造，加快大模型使用落地到场景。华为联合京东、科大讯飞、中国移动、等11家生态同伴及客户发布了根据昇腾大模型推理解决计划的五大场景优异实践，完成大模型在“文本生成、文生视图、辅佐编程、终端使用、智能工作/客服”等五大场景落地使用。