《ARC-AGI-2测试爆冷！人工智能惨败人类，得分令人惊掉下巴》

人工智能惨遭逆袭：ARC-AGI-2测试结果引发震撼热议

　　 3月25日消息，ArcPrize基金会是由著名人工智能研究员弗朗索瓦・肖莱（François Chollet）联合创立的一家非营利机构。近日，该基金会在其官方博客中宣布推出一项名为ARC-AGI-2的新测试，目的是评估当前顶尖人工智能模型的通用智能水平。这项测试的设计极为严格，据透露，目前绝大多数AI系统在面对这一挑战时都未能取得理想的成绩。 在我看来，ARC-AGI-2测试的推出无疑是对现有AI技术的一次重要检验。它不仅反映了研究者们对于提升AI能力的不懈追求，同时也揭示了当前AI领域存在的局限性。随着技术的进步，如何让机器更好地理解复杂情境并做出适应性决策，仍然是科研人员需要深入探讨的关键课题。这次测试或将为未来的研发方向提供宝贵的参考依据。

　　 根据ArcPrize排行榜的最新数据显示，以推理能力见长的AI模型，例如OpenAI的o1-pro以及DeepSeek的R1，在ARC-AGI-2测试中的表现并不理想，得分仅为1%到1.3%之间。令人意外的是，一些以生成能力和广泛知识库著称的非推理型AI模型，比如GPT-4.5、Claude3.7 Sonnet和Gemini2.0 Flash，其得分同样徘徊在1%上下，这表明这些模型在面对复杂逻辑推理任务时的表现与专注于推理的模型相比并没有显著优势。 从这一现象来看，我们可以看到当前人工智能技术在不同领域的发展存在一定的局限性。虽然许多顶尖AI系统在各自擅长的领域内表现出色，但在涉及深层次逻辑分析或抽象推理的任务上，它们的能力仍有待提升。这也提示我们，未来的AI研究需要更加注重平衡各种技能的发展，既要强化特定领域的专精，也要逐步扩展跨领域的综合能力，这样才能更好地应对未来更加复杂的挑战。同时，这也反映了评测标准的重要性，如何更准确地衡量AI系统的实际应用价值仍是一个值得深入探讨的问题。

　　 ARC-AGI测试是一系列类似谜题的挑战，要求AI从五颜六色的方块中找出视觉规律，并给出正确的“答案网格”。这类问题的设计目的是让AI面对前所未见的情况时仍能作出反应。为了设定一个人类基准水平，ArcPrize基金会组织了超过400人的团队参与ARC-AGI-2测试。结果显示，这个“团体”的平均正确率为60%，这一成绩显著超越了所有AI模型的表现。

　　 在X平台上，肖莱指出，ARC-AGI-2测试相较于ARC-AGI-1测试，能够更精准地反映AI模型的真实智能水平。ArcPrize基金会组织的测试致力于考察AI系统是否具备在训练数据范围外快速掌握新技能的能力。

　　 肖莱指出，与ARC-AGI-1有所不同，新版的ARC-AGI-2测试特别设计以避免AI模型单纯依靠“蛮力”——也就是海量的计算资源——去寻求解答。此前，这一问题被认为是ARC-AGI-1的一大短板。为了解决这个问题，ARC-AGI-2新增了一个重要指标：效率。同时，该系统还要求模型能够即时解析模式，而非仅仅依赖记忆功能。

　　 “智能不仅仅是解决问题或取得高分的能力，”Arc Prize 基金会联合创始人格雷格・卡姆拉德（Greg Kamradt）在其博客中写道，“这些能力的获取和部署效率是至关重要的决定性因素。我们提出的核心问题不仅仅是‘AI 能否获得解决任务的技能？’，还包括‘以何种效率或代价？’”

　　 ARC-AGI-1 在大约五年内无人能敌，直到 2024 年 12 月，OpenAI 发布了其先进的推理模型 o3，该模型超越了所有其他 AI 模型，并在评估中达到了人类水平的表现。然而，正如当时所指出的，o3 在 ARC-AGI-1 上的性能提升是以高昂的成本为代价的。

　　 OpenAI的o3模型（低配版）是首个在ARC-AGI-1测试中取得显著突破的版本，其得分达到了75.7%。然而，在ARC-AGI-2测试中，即便投入价值200美元的计算资源，该模型的得分也仅为4%。

　　 ARC-AGI-2的发布恰逢科技领域中很多人呼吁开发新的、尚未被充分利用的基准来评估AI发展进程之际。Hugging Face的联合创始人托马斯·沃尔夫在近期接受TechCrunch采访时提到，AI行业目前缺少足够的测试手段来衡量通用人工智能的重要特性，比如创造力。

　　 与此同时，ArcPrize基金会日前公布了2025年的ArcPrize竞赛计划，号召开发者在ARC-AGI-2测试中实现85%的准确率目标，并且要求每项任务的执行成本控制在0.42美元以内（按当前汇率约合3元人民币）。