IDC首发中国市场代码生成产品评估报告
国际数据公司（IDC）于近日发布了《中国市场代码生成产品评估，1H24》（Doc# CHC51598624，2024年10月），报告分析了整体代码生成市场情况，对当前主流产品进行了多维度评估和实际测评，从C++和Java两种语言来评估AI产品的生成代码和注释准确率和可帮助性，旨在为企业选择产品时提供更好的参考。
本文引用地址：
IDC预测，到2030年，AI会累计为全球经济带来19.4万亿的经济收入，每在AI解决方案和服务上花费1美元，就可以产生4.6美元的经济收益，包括直接价值链收益和间接全生态影响。
代码生成产品作为生成式AI的主要服务形式之一，拥有巨大的发展空间和前景。IDC全球数据显示，82%的开发人员已经使用具有自动完成或智能代码生成功能的IDE或代码编辑器，其中71%的人表示他们编写的代码中有40%以上是自动生成的。另一项面向中国市场的调研数据显示，对于已经探索和应用GenAI的企业，其中有31%的人员已经使用了代码生成产品。
本次报告收录了CodeGeeX、豆包MarsCode、Q Developer、通义灵码、腾讯云AI代码助手、文心快码、小浣熊Raccoon、亚信图灵程序员共8个产品（按产品拼音首字母排序），并从产品能力水平（实测项）、功能丰富度、产品架构、开发者体验、商业化水平、工程化落地支持、生态布局、战略领先性维度进行评估，呈现不同产品的能力水平和优势。
实测结果如下图所示
从上述结果可以看出，各代码生成产品在C++和Java语言上已经具备了基本的问题解决能力，可以生成有效且可用的代码和注释，帮助开发人员提高效率。
但在实际测评过程中IDC发现产品仍有很大改进空间：
● 编程范式支持不足： 各家均支持面向过程、对象的范式，但对于面向组件、服务、切面、函数、并发、泛型编程，头部支持更佳；
● 理解问题表面： 部分任务仅停留在处理问题的表层描述，系统应根据用户输入识别目的，例如进行数据处理、构建算法、实现接口、性能优化，不仅生成任务框架本身，还需考虑安全性问题、状态管理；
● 可扩展性不足： 生成的代码不仅是短期有效，还应具备可维护性和扩展性，遵循软件开发的设计模式、SOLID原则等最佳实践；
● 性能优化不足： 在处理涉及大量数据、复杂计算或实时要求的场景时，系统生成的代码应考虑效率问题，选择高效的算法和数据结构，例如排序算法应考虑数据规模和场景，而不只是单纯返回通用的冒泡排序；
● 健壮性和容错能力不足： 生成的代码应当能够处理意外情况、异常输入和潜在的错误，确保在各种场景下都能运行，自动生成异常处理逻辑；
● 安全考虑不足： 生成的代码在处理涉及用户数据、身份认证、数据库查询等敏感信息时，系统还应当自动加入必要的安全性检查，防止潜在的安全漏洞，避免直接拼接用户输入。