搜索
国产 GPU 助力，摩尔线程实现对 DeepSeek 蒸馏模型推理服务部署
1 天前
摩尔线程智能科技宣布已成功部署DeepSeek蒸馏模型推理服务。该服务利用DeepSeek提供的蒸馏技术，将大规模模型的能力迁移至更小、更高效的版本，并在国产GPU上实现了高性能推理。摩尔线程基于Ollama开源框架，完成了DeepSeek-R1-Distill-Qwen-7B蒸馏模型的部署，并在多种中文任务中表现出色。此外，摩尔线程自主研发的高性能推理引擎，结合软硬件协同优化技术，大幅提升了模型的计算效率和资源利用率。这一技术突破为未来更多大规模模型的部署奠定了坚实基础。用户现在可以使用MTT S80和MTT S4000两款产品进行DeepSeek-R1蒸馏模型的推理部署。
