《电子技术应用》
您所在的位置:首页 > 人工智能 > 业界动态 > 摩尔线程MTT S4000组千卡集群夸娥训练千亿参数大模型

摩尔线程MTT S4000组千卡集群夸娥训练千亿参数大模型

2024-04-02
来源:快科技

近日,无问芯穹发布了“无穹Infini-AI”大模型开发与服务平台,并宣布与摩尔线程达成深度战略合作。

无穹Infini-AI基于无问芯穹的智算云平台,可服务生成式大模型的多种场应用落地,为应用开发者提供高性能、易上手、安全可靠的大模型服务,覆盖从大模型开发到大模型服务化部署的全流程。

目前,无穹Infini-AI已经支持百川Baichuan2、ChatGLM2、ChatGLM3、ChatGLM3闭源模型、Llama2、Qwen、Qwen1.5等系列模型共20多个模型。

摩尔线程是第一家接入无问芯穹并成功完成千卡级别大模型训练的国产GPU公司,“夸娥”(KUAE)集群已经与无穹Infini-AI顺利完成了系统级融合适配,并完成了LLama2 700亿参数大模型的训练测试。

“夸娥”集群基于双路八卡GPU服务器MCCX D800,每个节点有八块MTT S4000 GPU加速卡、两颗Intel第四代至强处理器、16 x 64GB内存、4×3.84TB NVMe SSD,以及双路400Gb IB、四路25Gb以太网网络,一体化交付解决大规模GPU算力的建设和运营管理问题。

夸娥氏是我国神话传说中的大力神,出自《愚公移山》:“帝感其诚,命夸娥氏二子负二山,一厝朔东,一厝雍南。自此,冀之南,汉之阴,无陇断焉。”

1.png

2.jpg

摩尔线程联合创始人兼执行总裁王东表示,基于先进的MUSA架构,摩尔线程已建立了从芯片、板卡、集群到软件的全栈AI产品线。

摩尔线程夸娥智算集群是以全功能GPU为底座、软硬一体化的全栈解决方案,拥有高兼容性、高稳定性、高扩展性等综合优势,可作为大模型训练坚实可靠的先进基础设施。

3.png

4.jpg

5.jpg


杂志订阅.jpg

本站内容除特别声明的原创文章之外,转载内容只为传递更多信息,并不代表本网站赞同其观点。转载的所有的文章、图片、音/视频文件等资料的版权归版权所有权人所有。本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如涉及作品内容、版权和其它问题,请及时通过电子邮件或电话通知我们,以便迅速采取适当措施,避免给双方造成不必要的经济损失。联系电话:010-82306118;邮箱:aet@chinaaet.com。
Baidu
map