编程
分类
能力
ArtificialAnalysis的CodingAgentIndex显示,Carbon得到59分,编程能力暂时仍落后于ClaudeOpus5.5的62分。
文章
任务
在考察复杂编程任务的Terminal-Bench4.0中,Carbon得分达到65.2%,超过ClaudeOpus5.5的59.6%和GPT-6Astra的59.1%;
文章
为了提高评测难度,新版指数引入了真实代码库中的编程任务、科学研究任务等新测试,并将采用私有测试数据或隐藏答案的评测权重提高至60%,以降低模型通过接触公开测试题而获得高分的可能性。
文章