超越OpenAI,星火X1将引领人工智能新时代!
2月13日,科大讯飞今晚公布了最新的投资者关系活动记录表,主要就DeepSeek的相关问题进行了回应。
科大讯飞宣布,目前正致力于开发一款全新的星火X1版本,该版本将采用纯国产算力技术,预计在接下来的三个月内完成。新版本有望在数学解题及思维链分析能力方面达到甚至超越OpenAI的水平。
此外,科大讯飞宣布,他们正与中科院及其他众多教育专家紧密合作,进一步开发X1深度推理模型。通过融合专业知识反思和长思维链强化学习,他们致力于打造符合教育教学需求的“教学思维链”,以提升复杂场景下推理的逻辑准确性、专业性和可解释性。该技术将首先应用于教师助手、作业批改和辅助学习等系列产品创新中。预计在2025年的世界数字教育大会期间,科大讯飞将推出专门针对教育领域的大型模型及其创新应用。
摘选部分重点信息如下:
DeepSeekR1在与o1模型的竞争中,主要创新在于提出了并实现了R1-Zero强化学习训练方法。该方法直接基于DeepSeek-V3-base预训练模型进行大规模强化学习训练,在数学和代码等推理任务上达到了接近o1模型的效果,且不依赖任何有监督微调(SFT)。这是目前国内外已公开的、在大规模任务上取得成功的首个成果。尽管学术界已有相关研究,但由于预训练基础模型的质量不高,导致强化学习的效果不佳。这一成就具有显著的创新性,大幅降低了数学、代码等任务训练对人工标注推理过程数据的需求。
DeepSeekR1并非唯一的高水平国产深度推理大模型。自2024年9月OpenAIo1-preview发布以来,国内领先的大模型厂商也在迅速跟进。科大讯飞凭借其在评论模型和强化学习方面的积累,在2024年10月实现了蒙特卡洛树搜索(MCTS)等算法创新,并成功完成了深度推理模型训练算法的开发。由于只能使用国产算力,我们额外花费两个月时间完成华为昇腾910B算力的适配和优化,显著提升了训练效率(训练效率从A100的55%提高到85%)。最终,我们在2025年1月15日完成了星火深度推理模型X1的训练和发布。尽管当前X1模型规模较小(仅130亿参数),但凭借我们的算法和数据优势,星火X1已经达到了与OpenAIo1-preview相当的水平。随着国产算力的逐步到位和模型参数的增加,我们完全有信心实现在数学答题和过程思维链能力上全面对标甚至超越OpenAIo1。此外,结合与中国教科院等诸多教育专家的合作成果,我们将使X1的思维链结果更加符合教育教学的专业要求,从而在教育、医疗等领域实现更大的应用价值。
DeepSeek团队针对DeepSeekV3和R1的训练与推理进行了成本优化工作,实施了多项软硬件结合的深度工程创新,包括MLA(通过低秩矩阵压缩KV矩阵来显著减少GPU显存占用)、MTP(通过多帧预测提高数据利用率及训练效果和推理效率)、DualPipe(通过更底层的PTX指令优化英伟达GPU的计算和通信并行性)以及FP8混合精度训练(首次采用8位量化浮点数方法实现超大规模模型训练,而非传统的16位量化)。借助这系列优化措施,DeepSeek仅需使用2048张英伟达H800卡,大约560万美元便能完成一次完整的V3模型预训练。至于DeepSeekR1,由于其需要进行大量数据的强化学习迭代训练,具体成本尚未公布。
和DeepSeek类似,科大讯飞受限于有限的算力资源,在过去几年里,通过持续优化,显著提升了星火大模型的训练和推理成本效率。与DeepSeek直接采用英伟达H800卡进行多种工程优化不同,科大讯飞选择了更为艰难的全国产算力路线。自2023年5月以来,科大讯飞与华为合作,成功解决了万卡高速互联组网、计算通信隐藏、训练推理强交互、高吞吐推理优化以及国产算子优化等一系列技术难题,使得通用大模型及类o1的深度推理模型的训练效率从最初的30%-50%优化到了85%-95%以上。以DeepSeek非常重视的万卡网络通信带宽利用率为例,DeepSeek报道为93%,而科大讯飞星火达到了95%。在训练成本方面,科大讯飞星火大模型同样具有竞争优势,其单次训练成本与DeepSeek V3处于同一水平,且未来优化路径明确。目前,以昇腾910B为代表的国产硬件尚不支持FP8精度训练及DualPipe的实现,但随着国产算力在底层能力上的进一步提升,科大讯飞星火的训练成本有望大幅降低。
需要特别指出的是,大模型对算力的需求主要体现在训练和推理两个方面,其中训练的难度远高于推理。因此,尽管一些公司声称能够在国产算力平台上提供如DeepSeek等大模型的推理服务,但目前只有科大讯飞的星火大模型实现了训练和推理都在国产算力平台上进行。值得一提的是,科大讯飞仅使用了1万张910B国产算力卡便达到了业界领先的研发成果。不仅如此,科大讯飞还在国产算力平台上进行了大量的创新适配和效率优化工作,追求国产算力的极致性能,这比在英伟达平台上实现同样目标更需技术实力和战略勇气。
当前所有全民下载的通用大模型App中,只有讯飞星火一家实现了训练和推理均在国产算力上进行。仅使用了1万张910B国产算力卡,科大讯飞不仅在大模型研发上取得了一系列成果,还做了大量适配和效率优化工作,这些工作在国产算力平台上属于无人区探索。尽管陆续有公司宣布可以在国产算力平台上提供DeepSeek在内的大模型推理服务,但目前仍只有讯飞星火一家实现训练和推理全链条的国产化。 这种在国产算力平台上取得的突破,不仅展示了科大讯飞的技术实力,也为中国人工智能行业的发展提供了重要的参考案例。这表明,在面对技术封锁的情况下,国内企业可以通过自主创新和技术积累,实现从硬件到软件的全方位突破,从而在全球竞争中占据有利地位。这也意味着未来可能有更多的企业效仿这种模式,进一步推动我国在人工智能领域的自主可控发展。
免责声明:本站所有文章来源于网络或投稿,如果任何问题,请联系648751016@qq.com
页面执行时间0.009406秒