ChatGPT在全球范围内掀起了一场技术革命与商业浪潮，AI市场也迎来了前所未有的机遇与增量。

当前，AI基础设施的算力、算法呈现新“摩尔定律”：相同算力下能训练生产更优质的模型，同时最先进的 AI模型约每几个月算力需求就会扩大一倍。

根据斯坦福大学和麦肯锡联合发布的《2019人工智能指数报告》，2012年之前最先进AI模型计算量每两年翻一倍；2012年之后计算量每3.4个月翻一番，从2012年到2020年3月已增长30万倍。

伴随着大模型的快速迭代，其对算力的要求也不断提高。算力的核心就是人工智能芯片。因此，如何在新趋势、新挑战下快速响应客户需求，推出切实可用的软硬件解决方案，成为了摆在国内AI芯片企业面前的首要课题。

拥抱变化，聚焦提升产品力

ChatGPT及大模型技术大会上，昆仑芯科技研发总监王志鹏表示：“作为一家芯片公司，需要对市场的需求和变化非常敏感，才能使硬件产品始终精准匹配主流需求。”

大模型对计算的要求主要体现在三个方面，一是算力，二是互联，三是成本。就大模型而言，昆仑芯科技在产品定义上已经做出布局——相较第一代产品，昆仑芯2代AI芯片可大幅优化算力、互联和高性能，而在研的下一代产品则将提供更佳的性能体验。

昆仑芯科技成立于2021年，前身为百度智能芯片及架构部。在实际业务场景中深耕AI加速领域已逾10年，专注打造拥有强大通用性、易用性和高性能的通用人工智能芯片。

在持续推进核心技术攻关的同时，昆仑芯科技紧密关注科技前沿，精准匹配市场需求。目前，公司已实现两代通用AI芯片的量产及落地应用，在互联网、智慧金融、智慧交通等领域已规模部署数万片。

昆仑芯产品研发路线图

昆仑芯在大模型场景的规模落地实践

“来自真实场景”一直是昆仑芯科技最独特的身份标签，也是其规模部署数万片、在行业内“领跑落地”的核心优势所在。

王志鹏认为，只有基于真实业务场景中的数据进行端到端优化，才能顺利推进大模型落地。

目前市场上主流的大模型以Transformer架构为主，包含Encoder和Decoder。Encoder主要被应用于各类NLP的判别类任务；而Decoder更多被应用于翻译、图文生成等场景，最近出圈的ChatGPT就是典型代表。

针对大模型，昆仑芯持续打磨部署优化方案，领跑产业落地。昆仑芯已将大模型的Transformer相关优化技术沉淀为重要基建，优化后的性能比原有方案提升5倍以上，压缩显存30%以上。

以文生图大模型为例，昆仑芯已跑通一条端到端优化、规模落地之路。

AI绘画模型的推理算力及显存需求随图像分辨率增大而指数级增加，同时，图像生成需要循环采样数十次，产业落地动辄需要高昂成本的部署集群，严重阻碍了AIGC模型大规模商业化落地。

2022年第四季度，昆仑芯联合客户，基于飞桨PaddlePaddle发起了端到端联合优化项目。在2-3周内，项目组快速完成端到端优化，最终实现输入文本后2秒出图的优化效果，性能提升近8倍。

目前，昆仑芯AI加速卡R200已在该客户的大模型场景完成规模部署，性能数据全面超越同系列主流推理卡：

1）基于昆仑芯AI加速卡R200高效运算与推理能力，综合优化方案，在dpm-25steps算法下，利用昆仑芯AI加速卡R200，生成1024*1024图像时的推理速度为10.89 iters/s，相比同能力的主流推理卡快20%。

2）昆仑芯AI加速卡R200拥有32G GDDR6显存，为大规模参数提供更大的存储容量、更高带宽的内存访问、更稳定的性能，生成更高分辨率的图片，为用户提供高性价比服务。

与此同时，面向当前市场需求迫切的大模型场景，昆仑芯科技即将推出一款加速器组解决方案。

该加速器组搭载第二代昆仑芯 AI芯片，是AI基础设施的重要组织部分，为AI IAAS 平台、 AI PAAS 平台提供坚实算力支撑。该产品可提供更为集约的AI算力，具备分布式集群部署能力，支持弹性RDMA网络，对比传统网络通信时延降低2~3倍。该产品可明显提升并行加速比，训推一体化助力提高资源利用率，极大提升模型开发迭代效率。

携手上层伙伴共拓AI芯生态

ChatGPT及大模型技术大会上，与会者提问：在生态建设方面，国内AI芯片产业面临的客观情况是什么？

这也是昆仑芯科技经常被客户提及的现实问题。

昆仑芯科技在努力进一步扩大生态影响力：首先要深刻理解客户的使用习惯，满足客户需求，踏踏实实把软硬件从产品和技术上做到位。随着产品的规模部署，客户越来越多，生态也就自然而然建立起来了。与此同时，产品也会因此得到更好的打磨，进入良性循环。

在昆仑芯科技看来，AI芯片看似是一个硬件，但其本质则是一款软件产品。这也证明了软件栈、生态对于AI芯片发展的关键作用。

目前，昆仑芯已实现对飞桨的原生适配，并完成了III级兼容性测试，训练与推理性能可以满足用户的应用需求。从底层AI算力组件、AI服务器，到操作系统，再到昆仑芯SDK，昆仑芯和飞桨携手完成了一套端到端的AI计算系统解决方案，并致力于打造一个全栈式软硬一体的AI生态。

为进一步完善软件生态，昆仑芯已与多款通用处理器、操作系统、主流框架完成端到端适配，实现了软硬件解决方案的技术栈，为客户提供开箱即用的AI芯片产品。

昆仑芯软件栈

结语

谈及大模型趋势下AI芯片公司面对的变化，王志鹏说道: “必须快速调整心态，并拥抱大模型带来的变化。”

而这也刚好印证了昆仑芯科技“突破创新”的公司文化：面对瞬息万变的外部环境，突破创新是适应行业的唯一方式。

面对复杂多变的市场环境以及新场景新应用对研发和落地的重重挑战，国内AI芯片公司如何出圈？

集十余年AI加速领域的技术积淀，曾任百度智能芯片及架构部首席架构师、现任昆仑芯科技CEO欧阳剑认为，“AI芯片公司应抓住场景和技术创新‘双驱动’模式，驱动架构优化升级与软硬件产品迭代，这是持续保持竞争力的关键。”