微软发布Phi-4:新型生成式AI模型,面向研究预览
2024-12-13 / 阅读约2分钟
来源:TechCrunch
微软宣布了其Phi系列生成式AI模型的新成员Phi-4,该模型在数学问题解决方面有所提升,目前仅在Azure AI Foundry平台上以研究目的限量提供,拥有140亿参数,使用了高质量合成数据集。

图片来源:Aleksander Kalka/NurPhoto / Getty Images

微软最新推出了Phi系列生成式AI模型的新成员。

这款名为Phi-4的模型,据微软介绍,在多个方面相较其前代均有所改进,特别是在数学问题解决能力上取得了显著提升。这一进步部分归功于训练数据质量的优化。

自周四晚间起,Phi-4模型仅在微软的Azure AI Foundry开发平台上提供极为有限的访问权限,且仅供研究目的使用,需严格遵守微软的研究许可协议。

Phi-4是微软最新的小型语言模型,拥有140亿个参数,与GPT-4o mini、Gemini 2.0 Flash及Claude 3.5 Haiku等其他小型模型同台竞技。这些AI模型通常运行更为迅速、成本更为低廉,而近年来,小型语言模型的性能也在不断提升。

微软将Phi-4的性能提升归功于“高质量合成数据集”的应用,以及高质量的人类生成内容数据集和一些未公开的训练后优化措施。

目前,众多AI实验室正密切关注在合成数据和训练后优化方面的创新。Scale AI的首席执行官Alexandr Wang在周四的一条推文中指出,“我们已经触及了预训练数据的瓶颈”,这一观点与近几周来关于该主题的几份报告不谋而合。

值得注意的是,Phi-4是塞巴斯蒂安·布贝克离开微软后发布的首个Phi系列模型。布贝克曾担任微软人工智能副总裁,也是公司Phi模型开发的核心人物,他于10月离开微软,加入OpenAI。