大模型AI软件落地已过验证阶段,代码生成占比明显提升:AI4SE 行业现状调查报告(2024年度)
8 小时前 / 阅读约7分钟
来源:36kr
以大模型为代表的人工智能技术为新一轮科技革命和产业变革提供了重要驱动力,各行业在智能化转型道路上面临着前所未有

以大模型为代表的人工智能技术为新一轮科技革命和产业变革提供了重要驱动力,各行业在智能化转型道路上面临着前所未有的机遇和挑战。软件工程的智能化转型为软件企业降本增效带来了新思路,以提升生产力和加速创新筑牢企业核心竞争力。然而,智能化软件工程(AI for Software Engineering,AI4SE)发展过程中,仍面临技术路线选择不明确、落地路径不清晰、应用成效无对标等问题,亟需行业提供指引。 

近日,中国信息通信研究院(简称“中国信通院”)人工智能研究所联合中信银行、阿里云、华为云、软通动力、腾讯、百度、字节、Testin 云测、硅心科技、360 等企业和机构,于中国人工智能产业发展联盟第十四次全体会议上正式发布《AI4SE 行业现状调查报告(2024 年度)》。

本调研以《智能化软件工程技术和应用要求》系列标准为参考,聚焦 AI4SE 发展现状及落地成效,共收集 1813 份有效问卷。报告内容以调查结果为基础,对软件工程各阶段的智能化转型现状、落地效能提升情况、未来发展趋势、挑战与机遇等维度进行了深入分析。

核心观点 

1. 企业的软件研发智能化成熟度普遍处于 L2 水平 

中国信通院对企业软件研发智能化成熟度进行了定义,受访企业认为内部智能化成熟度处于 L2(部分智能化)的占比最高,达到 39.15%,L3 核心智能化达到 17.62%,L4 高度智能化达到 8.98%,L2、L3、L4 合计占比为 65.75%。这表明以大模型为核心的人工智能技术在软件工程中的落地,已从概念验证阶段逐步进入规模化落地阶段,但绝大部分企业的软件研发智能化成熟度离完全智能化仍有较长距离。

图 1  企业的软件研发智能化成熟度

2.AI 在软件工程领域整体应用程度显著升高。 

2024 年度受访企业在需求分析和运维领域应用了 AI 技术的占比大幅增高,提升幅度均在 10% 左右,开发、测试在 2023 年已经有诸多企业落地应用了 AI 技术,但 2024 年度也有小幅度提升。总体数据显示企业在软件工程领域应用 AI 技术的比例显著升高,软件工程的智能化转型势在必行。

图 2  软件工程各阶段 AI 技术应用比例年度数据

3.AI 赋能软件工程各阶段效率提升更加明显 

2024 年度受访企业在软件工程各阶段,由 AI 驱动的效率提升更加明显,其中需求设计、开发、测试、运维四个领域效率大幅提升,测试最为明显涨幅达到 8 个百分点左右,同时需求设计、项目管理均有小幅度上升。同时在各阶段中,提效在 10% 到 40% 之间的企业数量最多,需求阶段、开发阶段和运维阶段提效 20%+ 的企业最多,设计阶段提效 10% 到 40% 的企业占比超过六成,测试阶段提效 30%+ 的企业最多。

图 3  AI 赋能软件工程各阶段提效年度平均数据对比

4. 代码生成行采纳率相比前一年有提升,但智能开发工具的能力提升空间仍然较大 

受访企业应用智能开发工具后,2024 年度近五成企业的代码行采纳率 1 集中于 20% 至 39% 之间,平均采纳率为 27.46%,同比提升 2.42%,其中采纳率大于 40% 的企业比例提升更为明显。数据说明,一是智能开发工具的能力处于持续提升过程中,二是智能开发工具的采纳率有较大上升空间,三是由于行业的逐步成熟,以及智能开发效能度量标准的编制,部分指标定义更加明确,因此 2024 年度调研的数据相比 2023 年更加准确。

图 4  AI 智能开发工具代码生成行采纳率分布

5. 代码生成占比相比前一年明显提升 

受访企业应用智能开发工具后,2024 年度通过 AI 生成的代码占全部代码的比例平均为 28.17%,相比 2023 年明显提升 6% 左右。2024 年度代码生成占比 4 大于 30% 的企业比例同比增长近一倍,达到 34%。其中,代码生成占比处于 30% 至 39% 区间的企业比例增长近 8%,这说明部分企业正加速探索和落地 AI 协作模式。值得注意的是,2023 年度 41.3% 的企业中代码占比处于 20%~29% 区间,而 2024 年度此区间的企业占比大幅收缩至 24.5%,从而向更高比例区间渗透。

图 5  代码生成占比区间分布

6. 智能测试工具推动功能缺陷率降低效果初显 

受访企业应用基于大模型的智能测试工具后,助力产品功能缺陷率降低的效果显现,降低 20%~39% 的企业比例超 60%,根据调研发现,通过测试用例生成、测试脚本生成等技术提升测试覆盖率,从而对代码质量提升产生了积极影响,并形成了一定的规模化应用价值;但缺陷率降低 50% 以上的企业占比仅 7.13%,这反映企业使用智能测试工具大幅提升产品质量仍然存在较大瓶颈,大模型如何与现有测试工具相结合成为智能测试环节的重点。

图 6  智能测试工具助力产品功能缺陷率降低情况分布

主要专家和撰写团队 

秦思思,中国信通院人工智能研究所高级工程师。中国人工智能产业发展联盟智能化软件工程(AI4SE)工作组组长。主要研究方向为智能化软件工程、大模型工程化、MLOps、MaaS 等,牵头系列标准的编制、评测、咨询等工作。 

齐可心,中国信通院人工智能研究所助理工程师。主要研究方向为智能化软件工程、MLOps,参与系列标准编制、评测、咨询及多篇人工智能相关研究报告编制等工作。 

闫东伟,中国信通院人工智能研究所工程师。主要研究领域涵盖人工智能政策、标准、产业及生态研究,重点关注大模型技术对软件工程的智能化进程推动和实际应用效果提升,密切跟踪 AI4SE 的最新进展动态,负责系列标准编制、评测、咨询等工作。 

曹峰,中国信通院人工智能研究所平台与工程化部主任,高级工程师。中国通信标准化协会 TC1 WG1(互联网应用总体及人工智能工作组)组长,人工智能关键技术和应用评测工业和信息化部重点实验室副主任。目前主要牵头可信 AI 人工智能评测标准体系和能力建设,牵头工程化能力等相关评估规范制定与评测等。