低成本之力,智能推理超越OpenAI
2月6日消息,上周五发布的一份研究报告显示,斯坦福大学和华盛顿大学的人工智能研究团队仅以不到50美元(约364元人民币)的低成本云计算费用,便成功训练出一个具有“推理”能力的人工智能模型。这一成果不仅展示了人工智能技术在学术领域的迅猛发展,也预示着未来人工智能的应用门槛可能大幅降低。低成本高效能的模型训练方式将为更多科研机构和个人提供探索人工智能潜力的机会,从而推动整个领域的发展。
该模型名为s1,在数学和编程能力测试中的表现与OpenAI的o1和DeepSeek的r1等顶级推理模型相当。目前,s1模型以及其训练所用的数据和代码已经通过GitHub平台实现了开源。 这种开放共享的做法无疑是一个重要的里程碑。它不仅展示了人工智能领域内竞争日益激烈,也体现了技术进步如何逐步打破壁垒,推动整个行业的共同成长。开源不仅能够促进技术的传播,还能加速创新的步伐,让更多研究者和开发者受益。对于那些希望在人工智能领域有所作为的人来说,这无疑是一个振奋人心的消息。
S1团队声称他们利用“蒸馏”技术开发出了这款人工智能模型,这种技术的核心在于让模型通过学习另一个AI模型的回答,进而掌握其“推理”能力。据透露,S1模型是从谷歌的Gemini2.0 Flash Thinking Experimental推理模型中提炼而来的。同样地,上个月,加州大学伯克利分校的研究人员也采用了类似的蒸馏方法,以大约450美元的成本成功构建了一个推理模型。 这一系列进展展示了人工智能领域内技术进步的速度之快,以及学术界与产业界的紧密合作对推动创新的重要性。同时,这也提示我们,随着这类技术越来越容易被复制和再造,如何保护知识产权和确保技术的伦理使用将成为未来关注的重点。此外,低成本创建高性能模型的能力意味着更多机构和个人能够参与到这场技术革命中,这无疑为技术的普及和应用带来了新的机遇。
类似S1模型的出现也引发了关于人工智能模型商品化的问题——如果有人能够以相对较低的成本复制一个价值数百万美元的模型,那么大型科技公司的“护城河”究竟在哪里呢? 在这个问题背后,我们不得不思考技术巨头们如何维持其市场优势。一方面,这些公司可能通过不断迭代和优化模型来保持领先。另一方面,它们还可以利用数据积累的优势,因为即使算法可以被复制,但数据的广度与深度却难以被轻易超越。此外,法律手段如专利保护和版权法也是重要的壁垒。 总而言之,虽然复制模型的技术门槛在降低,但这些公司依然有多种方式维护自身的竞争优势。这也提醒我们,在追求技术创新的同时,也需要关注数据安全和知识产权保护。
不出所料,大型人工智能实验室对此表示不满,譬如OpenAI曾指控DeepSeek非法获取其API数据用于模型蒸馏。
S1的研究团队致力于探索如何以最简洁的方式实现强大的推理能力和“测试时扩展”。这一目标与OpenAI的O1项目中的某些创新不谋而合。他们希望通过优化算法和架构设计,使人工智能模型能够在有限的时间内进行更深入的思考,从而提高解决问题的能力。这种研究不仅有助于推动人工智能技术的发展,还可能对其他相关领域产生深远影响。例如,在医疗诊断或复杂决策制定方面,这样的技术进步能够显著提升工作效率和准确性。然而,与此同时,我们也需要关注技术进步所带来的伦理和社会问题,确保这些强大的工具能够被负责任地使用。
s1的论文指出,可以通过一种名为监督微调(SFT)的技术,利用相对较小的数据集来提炼推理模型。在SFT过程中,人工智能模型会被明确指导以模仿数据集中的特定行为。与DeepSeek用于训练其R1模型的大型强化学习方法相比,SFT显得更为经济高效。
谷歌在其GoogleAIStudio平台上免费提供Gemini2.0FlashThinkingExperimental模型的访问权限,但每天设有使用限制。不过,根据其使用条款,禁止对模型进行逆向工程以开发与谷歌自身人工智能产品相竞争的服务。
S1是中国人工智能实验室Qwen推出的一款小型且现成的免费人工智能模型。为了训练S1,研究团队特别构建了一个包含1000个精选问题及其对应答案的数据集。此外,他们还利用了谷歌Gemini2.0 Flash Thinking Experimental提供的解析,以展示每个答案背后的推理过程。这一创新方法不仅为AI模型的训练提供了新的视角,也展示了如何通过精细的数据集和先进的辅助工具来提升模型的表现力和准确性。这种方法可能为未来的AI研究开辟新的道路,特别是在理解和生成复杂人类思维过程方面。
研究人员称,在使用16个Nvidia H100 GPU进行训练后(耗时不到30分钟),模型s1在一些人工智能基准测试中表现出色。参与该项目的斯坦福大学研究员Niklas Muennighoff告诉TechCrunch,目前租赁这些计算资源的成本大约为20美元。
研究人员采用了一种巧妙的方法,使S1系统在检查其工作时能够延长“思考”时间:他们让它进行“等待”。研究结果显示,在S1的推理过程中加入“等待”这个词,可以帮助模型得出更为准确的结果。
免责声明:本站所有文章来源于网络或投稿,如果任何问题,请联系648751016@qq.com
页面执行时间0.009994秒