GitHub Copilot 推出视觉功能:图片可秒变代码
9 小时前 / 阅读约3分钟
来源:IT之家
GitHub 宣布了其 AI 编程助手 Copilot 的一系列重大更新,此次更新中最引人注目的功能之一是 Copilot 的“Vision”功能。该功能允许用户在聊天中上传截图、照片或图表,Copilot 将基于这些图像生成相应的界面、代码以及替代文本(alt text),从而将用户的视觉想法转化为实际的编程成果。

IT之家 2 月 8 日消息,GitHub 宣布了其 AI 编程助手 Copilot 的一系列重大更新,并展示了 Copilot 未来更具自主性的愿景。

此次更新中最引人注目的功能之一是 Copilot 的“Vision”功能。该功能允许用户在聊天中上传截图、照片或图表,Copilot 将基于这些图像生成相应的界面、代码以及替代文本(alt text),从而将用户的视觉想法转化为实际的编程成果。例如,营销团队的成员可以截取网页的截图,并在上面标注出他们希望进行的修改。以往,他们需要通过文字提示来请求这些更改,而现在,他们只需上传图像,并直接要求 Copilot 根据文件中的指示进行修改即可。这一功能自去年 10 月起已在 VS Code 中作为扩展提供,微软当时确认,该功能最终将被整合为 GitHub Copilot Chat 的原生功能。此前,用户还需要自行提供 API 密钥才能使用。

GitHub Copilot 还引入了“下一步编辑建议”功能,这是其代码补全功能的扩展。以往,Copilot 在 VS Code 编辑器中仅根据光标位置进行代码补全,但现在它能够查看其他最近的编辑内容,从而预测开发者可能想要进行的下一步操作。其通过更丰富的上下文线索,自动识别并建议下一步的编辑内容。如果开发者接受这些建议,只需按下 Tab 键即可应用;如果拒绝,则按下 Esc 键即可。

IT之家注意到,去年 11 月,GitHub 推出了 Copilot Edits 功能,允许开发者通过自然语言提示进行多文件编辑。如今,这一功能正式进入全面可用阶段,并新增了“代理模式”。在这种模式下,Copilot 能够自动识别与开发者更改请求相关的所有文件,而无需开发者手动选择需要应用更改的文件。GitHub 首席执行官 Thomas Dohmke 表示:“Copilot 现在能够更好地理解你最初的请求意图,并尝试解决它。”

从长远来看,GitHub 希望将这种“代理模式”应用于 Copilot 的其他功能,实现更广泛的自动化,涵盖更多相互关联的任务。为此,GitHub 还透露了一个名为“Project Padawan”的新计划。这是一个软件工程代理项目,能够在开发者的指导下独立处理整个任务。开发者可以将问题分配给 Copilot,由它来完成任务。不过,Dohmke 并未透露该项目何时能够正式推出,他仅表示,GitHub 将与合作伙伴和社区合作,共同改进这一项目。Dohmke 说:“我们正在寻找也在构建代理的合作伙伴,将它们整合到这一流程中,并希望客户与我们合作并提供反馈,因为我们知道在现阶段,它还远非完美。”