深度优化AI推理,Win11用户尽享Copilot+ PC本地化AI的强大性能
1月30日消息,人工智能正在快速向边缘计算领域拓展,CopilotPC在此过程中发挥着关键作用。随着DeepSeekR1的问世,微软也开始意识到这一模型可能引发的一系列变革。
微软今日宣布推出针对神经处理单元(NPU)优化的DeepSeek-R1模型,并已同步在Azure AI Foundry和GitHub上发布。该技术首先将应用于配备高通骁龙X芯片的Copilot PC设备上,后续还将扩展到英特尔酷睿Ultra 200V等平台。 这一举措表明微软正在积极布局人工智能领域,通过与不同硬件制造商的合作来提升其AI产品的性能和适用范围。此举不仅有助于推动AI技术的发展,也为用户提供了更多选择和更好的使用体验。随着DeepSeek-R1的推出,我们期待看到更多的创新应用和服务,这将进一步丰富人工智能生态系统的多样性。
微软表示,首个版本 DeepSeek-R1-Distill-Qwen-1.5B 将在 AI Toolkit 中提供,7B 和 14B 版本也将很快推出,从而帮助开发者充分利用 Copilot+ PC 中强大的 NPU 配置。
微软表示,Copilot+ PC 上的 NPU 开启了一种新的范式。在这种范式下,生成式 AI 不仅可以在被调用时执行,还可以支持半连续运行的服务。这使开发者能够利用 AI 推理引擎来构建主动和持续的体验。微软表示:
通过我们在PhiSilica上的工作,我们成功地实现了高效的推理过程,在初次生成token的速度和吞吐量上表现优异,同时最大限度地减少了对电池寿命和PC资源的消耗。这为优化DeepSeek模型提供了宝贵的经验,该模型特别针对NPU进行了优化。我们从PhiSilica项目中学到了如何有效地分割模型的不同部分,以达到最佳的性能与能效平衡,如何应用低比特率量化技术,以及如何将Transformer架构适配到NPU上。除此之外,我们还运用了WindowsCopilotRuntime(WCR),借助ONNXQDQ格式,在广泛的Windows生态系统中实现了更广泛的应用。 这种技术的进步不仅展示了算法优化和硬件适应性的强大结合,也为未来的人工智能应用铺平了道路。它表明,通过细致的技术调整和创新,我们可以显著提高计算效率,减少资源消耗,这对于推动AI技术在更广泛的设备上普及至关重要。同时,跨平台的支持也意味着更多的用户可以享受到这些先进的AI功能,而无需担心兼容性或性能损失。
微软表示,为了在CopilotPC上体验DeepSeek,用户只需安装AIToolkitVSCode扩展程序。预计不久之后,采用ONNXQDQ格式优化的DeepSeek模型将会出现在AIToolkit的模型库中,用户可以直接从Azure AIFoundry中获取这些模型。 这种便捷的安装方式无疑大大降低了技术门槛,使得更多非专业用户也能轻松上手使用先进的AI工具。对于AI技术的普及和应用而言,这无疑是一个积极的信号。同时,通过Azure AIFoundry进行模型更新和维护,也保证了用户能够及时获取到最新和最优质的AI资源。这样的举措有助于推动整个行业的发展,提升用户体验。
用户可以通过点击“下载”按钮将其下载到本地。下载完成后,只需打开 Playground 加载“deepseek_r1_1_5”模型,并给出提示词即可开始实验。
除了为 Copilot+ PC 优化的 ONNX 模型外,您还可以通过点击“DeepSeek R1”下的“Try in Playground”按钮,在 Azure Foundry 中尝试云托管的源模型。
如下图所示,微软展示了原始模型与量化模型的对比示例,突显了二者之间的细微差别。从技术角度来看,这种展示方式有助于我们更好地理解量化模型在实际应用中的表现。通过直观地比较这两种模型,我们可以更清晰地认识到,在追求更高性能的同时,如何平衡精度与效率成为了一个关键的问题。这不仅体现了技术进步带来的挑战,也展示了行业在不断探索优化解决方案的努力方向。
免责声明:本站所有文章来源于网络或投稿,如果任何问题,请联系648751016@qq.com
页面执行时间0.024803秒