刚刚， OpenAI多模态团队负责人Alexander Kirillov官宣离职。

更劲爆的是，昨天刚被曝出离职Anthropic的OpenAI联创John Schulman，反身就加入了前CTO Mira Murati创业公司。

一位GPT-4o多模态核心leader离职，一位加入前CTO阵营，对OpenAI来说简直是双重打击。

GPT-4o多模态关键大佬

在OpenAI，Alexander Kirillov带领团队致力于多模态模型的研发工作，推动模型不仅能够处理文本，还能同时理解和生成图像、音频等多种数据。

他参与并主导了备受瞩目的「Segment Anything」项目，该项目不仅推出了一个交互式演示系统，还发布了包含11亿个mask的大规模数据集及相关代码。

在OpenAI，他领导了GPT-4o的训练后多模态工作，负责将GPT-4o的文本、图像、音频和视频处理能力整合到一个统一的模型中，并优化其性能。

论文地址：https://arxiv.org/pdf/2410.21276

GPT-4o是一种自回归全能模型，可以接受文本、音频、图像和视频的任意组合作为输入，并生成文本、音频和图像的任意组合作为输出。

它在英语文本和代码方面的性能与GPT-4 Turbo相当，但在非英语语言文本方面有显著改进，同时在API中速度更快，成本降低了50%。

Kirillov的工作对于GPT-4o实现多模态理解和生成至关重要，使得GPT-4o能够更好地理解和处理多种类型的信息，并以更自然、更直观的方式与用户交互。

SAM一作，多次与何恺明、谢赛宁联手

在Meta任职期间，Alexander Kirillov曾与何恺明、谢赛宁等大佬一起合作了多篇论文。

在爆火论文「分割一切」（Segment Anything）中，他是项目负责人。

Segment Anything构建了一个用于图像分割的基础模型，它包含三个相互关联的组件：可提示的分割任务、分割模型 (SAM) 和数据引擎。

此外，团队还使用数据引擎构建了当时最大的分割数据集SA-1B，其中包含1100万张图像和超过10亿个掩码。

论文地址：https://arxiv.org/pdf/2304.02643

Alexander Kirillov于2023年8月加入OpenAI。

在此之前，他曾担任Facebook AI研究院（FAIR）的研究科学家，专注于计算机视觉研究。

2018年，他在德国海德堡大学获得计算机科学博士学位，导师是Carsten Rother。

他的研究兴趣集中在视觉推理和结构化计算机视觉问题。研究成果多次发表于CVPR、ICCV、NIPS和ICRA等国际顶级学术会议。

2017年，他作为主要成员，赢得了COCO Stuff分割挑战赛。2018年，他在ECCV组织了COCO全景分割挑战赛。

截至目前，Alexander总被引数高达4万。

OpenAI联创火速入职前CTO初创

昨天，OpenAI联合创始人John Schulman才刚刚官宣离职Anthropic；今天又被曝出加入了 由前OpenAI首席技术官Mira Murati创立的Thinking Machines Lab 。

作为一位资深AI研究员，Schulman曾带领OpenAI团队开发了多项创新技术，为ChatGPT的成功做出了重要贡献。

在去年秋季OpenAI高层出现动荡期间，包括Murati在内的多位高管相继离职。当时Schulman也选择加入了竞争对手Anthropic。

如今，在短短的半年之后，两位老同事再次重聚。

Thinking Machines Lab

Schulman并不是Mira Murati唯一的「前同事」。

初创企业Thinking Machines Lab，已经成功从OpenAI挖来多位重量级研究人员，其中包括：

前后训练负责人Barret Zoph：致力于对齐、工具使用、评估、ChatGPT、搜索、多模态等等。

前高级研究员Luke Metz：OpenAI初始团队的一员，参与了ChatGPT的前身「低调的研究预览」产品

前研究员Sam Schoenholz：专研机器学习和统计物理

据了解，Murati在与潜在投资者沟通时表示，公司的目标是开发能够执行复杂任务的AI系统。

2024年，OpenAI进行新一轮股权融资时，Mira Murati突然辞去首席技术官一职。

随后，她迅速开始招募原来的同事，筹备创立自己的AI初创公司，并已完成逾10亿美元融资。

Murati计划将新公司命名为Thinking Machines Lab，可能是向科幻小说《沙丘》里的智能「思考机器」致敬。

特拉华州的注册文件显示，Thinking Machines Lab是一家公益公司。

这种架构允许企业在追求利润的同时兼顾社会影响，能在一定程度上防范激进投资者的干预。

这与OpenAI正在寻求的转型不同，采用公益公司结构的初创企业，如Anthropic和xAI，在决策时必须声明其公共效益目标，并在股东利润之间寻求平衡。

目前，公司具体的业务方向还未明朗。但根据她对潜在投资者的说法，公司致力于开发AI智能体。

至少有一点是确定的：Thinking Machines Lab正在重点从OpenAI挖人。

参考资料：

https://x.com/_alex_kirillov_/status/1887642706408841503

https://www.theinformation.com/briefings/openai-co-founder-john-schulman-is-joining-mira-muratis-startup?rc=epv9gi