AMD发布新一代AI模型DeepSeek-V3,推动尖端AI应用发展
2 天前 / 阅读约2分钟
来源:集微网
AMD近期发布了开源多模式AI模型DeepSeek-V3,其具有671B个参数,采用无辅助损失的负载平衡策略,能处理文字和视觉资料。DeepSeek-V3在多数基准测试中表现优秀,特别是在数学和编程任务中。此外,AMD Instinct GPU加速器在处理大量计算资源和内存带宽方面表现出色,有助于推动AI模型的发展。AMD的ROCm软件还扩展了对FP8的支持,提高了AI模型的性能和效率。

AMD近期表示,他们的融合将有助于加速尖端人工智能(AI)应用和体验的发展。AMD指出,他们开发的DeepSeek-V3是一个开放源码的多模式AI模型,其目的在于为开发人员提供无与伦比的性能和效率。DeepSeek-V3能无缝整合处理文字和视觉资料的高级功能,为生产力树立新的标杆,推动创新,并使开发人员能够创建尖端的AI应用程序。

DeepSeek-V3模型是一个强大的混合专家(MoE)语言模型,共有671B个参数,每个标记启动37B个参数。为了达到高效推理和经济训练,DeepSeek-V3采用了多头潜在注意力(MLA)和DeepSeekMoE架构,这是前身DeepSeek-V2的一部分。

DeepSeek-V3率先采用无辅助损失的负载平衡策略,并设定了多个token预测训练目标,性能更强。DeepSeek-V3允许开发人员使用高级模型,利用内存功能同时处理文字和视觉资料,广泛存取最新进展,并为开发人员提供更多功能。在大多数基准测试中,DeepSeek-V3都取得了最佳表现,尤其在数学和编程任务中。

AMD强调,Instinct GPU加速器改变了多模式AI模型格局,如DeepSeek-V3,它需要大量的计算资源和内存带宽来处理文字和视觉资料。AMD Instinct GPU在这些领域表现出色。此外,AMD在DeepSeek-V3开发的关键阶段利用AMD ROCm软件和AMD Instinct GPU加速器,进一步加强了与AMD的长期合作以及对AI开放软件方法的承诺。AMD的可扩展基础架构也使得开发人员能够建立强大的视觉推理和理解应用程序。

ROCm中广泛的FP8支持可以显著改善运行AI模型的过程,尤其是在推理方面。FP8降低精度计算可以减少数据传输和计算的延迟。AMD ROCm在其生态系统中扩展了对FP8的支持,从而提高了从框架到库等各个方面的性能和效率。