新闻中心

昆仑芯研发总监罗航:多层级产品矩阵赋能大模型产业化落地

芯见闻 发布于 2023-05-12 18:30

近日,“华彩杯”算力大赛北京赛区启动会在北京顺利召开。本次大赛以“筑基算力,赋能未来”为主题,由中国信息通信研究院、北京市经济和信息化局、北京市通信管理局联合主办。

 

AI算力是计算产业的基石,算力的核心则是AI芯片。昆仑芯深耕AI加速领域十余年,持续精进AI芯片技术,为千行百业输送高性能算力,助力AI芯片产业化落地。

 

本次大会上,昆仑芯研发总监罗航受邀带来“大模型时代的算力机遇”主题分享,围绕AI算力的历史演进趋势,介绍昆仑芯产品具备的强大算力和性能,分享公司在大模型时代的探索与实践。

 

(以下内容整理于昆仑芯罗航《大模型时代的算力机遇》主题分享)

 

昆仑芯研发总监 罗航

 

由ChatGPT掀起的AI技术浪潮加速大模型产业的演进,昆仑芯紧密关注新时代计算产业发展的必然趋势,以AI芯片产业化赋能大模型应用落地。

 

针对大模型应用,昆仑芯提供了软硬一体的技术栈,包括昆仑芯XFT大模型推理加速库、框架层等。框架层具备数据标注、微调训练、模型评估、模型优化、编排集成等能力,可为大模型提供推理服务与精调服务。

 

昆仑芯已与飞桨PaddlePaddle完成III级适配认证,携手打磨大模型优化方案,通过分组切片、张量模型并行、数据并行、流水线并行等技术支持大模型高效训练。同时,昆仑芯也与主流AI处理器、操作系统、AI框架完成了端到端适配。

 

 

目前,昆仑芯已在百度搜索等业务场景落地,扎实部署数万片,为百度搜索的在线场景与离线场景提供底层算力支撑。百度之外,昆仑芯可为客户提供大模型定制服务,凭借强大算力为大模型落地提供全流程支持。

 

 

昆仑芯关注眼下技术热点,也关注产业发展趋势。

 

大模型时代引起了新一轮产业范式变革。以往算法工程师会通过用不同的数据集训练专用模型,再应用于电力、石油、金融等不同的行业场景。未来,底层通用大模型将集成海量通用数据,通过加注少量行业知识、数据,即可形成行业大模型,扩散至不同场景。

 

随着AI技术发展,将涌现越来越多的大模型,对数据与AI算力 的需求相应攀升。广义物联网(IOT)将为大模型提供海量数据,在AI算力的赋能下,大模型可对数据进行处理与升华,再指导末端物联网设备的行动,二者相辅相成,形成感知-认知-决策-行动的数据飞轮。

 

未来,昆仑芯将继续紧密关注AI技术前沿趋势,以成熟的芯片产品构筑大模型时代的强大算力底座,携手生态伙伴构建软硬一体的芯片生态,赋能大模型产业化落地。

 

据悉,本次大赛共设置算力、存力、运力三个技术应用创新赛道和一个绿色低碳赛道。北京赛区的举办,将促进北京市新型基础设施建设,推动算力技术创新发展,为人工智能大模型预训练所带来的算力需求打下坚实基础。同时将推进北京市数字经济产业链发展,助力北京市打造全球数字经济标杆城市。