AI 编程对决：OpenAI o1-mini 以超过 90% 人类程序员的 CodeElo 评分夺冠！

AI 编程对决：OpenAI o1-mini 凭借超强编程能力横扫竞争对手，引领人工智能新纪元！

科技快讯中文网

　　 1月4日消息，阿里通义千问Qwen最新发布了CodeElo评测标准，该标准通过与人类程序员进行对比的Elo评级系统，来衡量大语言模型（LLM）的编程能力。

　　 大语言模型在AI场景中的一个典型应用便是生成和补全代码。尽管如此，目前我们仍面临许多挑战，在评估编程真实能力方面尤其如此。虽然这些模型能够提供高效的开发辅助，但它们生成的代码质量和安全性仍然需要人工审核。此外，过度依赖这些工具可能会导致开发者自身的编程技能退化。因此，如何平衡使用这些强大的工具与保持个人编程能力之间的关系，将成为未来的一个重要议题。

　　 现有的基准测试如LiveCodeBench和USACO都存在一定的局限性，它们缺乏强大的私有测试案例，没有完善的判分系统，并且常常采用不统一的运行环境。

　　 注：Qwen 研究团队为了解决这些挑战，推出了 CodeElo 基准测试，旨在利用与人类程序员比较的 Elo 评级系统，来评估 LLM 的编程竞赛水平。

　　 CodeElo的题目来自CodeForces平台，该平台以其严格的编程竞赛而著称，通过直接向CodeForces平台提交解决方案，CodeElo确保了评估的准确性，解决了误报等问题，并支持需要特殊评判机制的题目。此外，Elo评级系统反映了人类的排名，可以有效比较大型语言模型（LLM）和人类参赛者的表现。 在我看来，CodeElo通过与CodeForces平台的紧密合作，不仅提高了评测的公正性和准确性，还为LLM提供了更加公平的竞争环境。这种做法不仅有助于推动技术的发展，也使得我们能够更清晰地看到LLM在编程领域中的真实水平。

　　 CodeElo 基于三个关键要素：

　　 全面的问题选择: 题目按比赛分区、难度级别和算法标签进行分类，提供全面评估。

　　 稳健的评估方法: 提交的代码在 CodeForces 平台上进行测试，利用其特殊评估机制确保准确判断，无需隐藏测试用例，并提供可靠反馈。

　　 标准化的评级计算: Elo 评级系统评估代码的正确性，考虑问题难度，并对错误进行惩罚，激励高质量的解决方案，为评估编码模型提供了细致有效的工具。

　　 在对30个开源LLM和3个专有LLM进行测试后，OpenAI的o1-mini模型表现最佳，Elo评分为1578，超越了90%的人类参与者；开源模型中，QwQ-32B-Preview以1261分位列第一。

　　 然而，许多模型在处理简单问题时仍然显得力不从心，通常表现位于人类参与者的后20%。研究发现，这些模型在数学计算和实现技术上表现突出，但在动态规划和树形算法的运用上则明显欠缺。这表明尽管人工智能在某些领域取得了显著进展，但面对一些需要复杂逻辑推理的问题时，依然存在明显的短板。 这种现象提醒我们，虽然当前的人工智能技术可以在特定任务上达到甚至超越人类的水平，但在更广泛的认知能力方面还有很长的路要走。未来的研究和发展应该更加注重提升模型在处理复杂问题上的灵活性和适应性，以弥补现有技术的不足。

　　 此外，模型在使用C语言编程时表现出色，这与顶级程序员的偏好相符，这些结果表明LLM在某些方面仍需提升。