AI新势力,开发者利器,Copilot与PC本地运行DeepSeek同台竞技
3月4日消息,微软今天宣布,通过Azure AI Foundry平台,DeepSeek的R17B和14B蒸馏模型已成功集成到Copilot PC版本中,使得这些模型能够实现在本地运行。这一举措不仅展示了微软在推动人工智能技术发展方面的持续努力,也意味着用户可以在不依赖云端的情况下,享受到更高效、更便捷的人工智能服务。本地运行大型模型的能力将进一步提升用户体验,减少对外部网络连接的依赖,使人工智能的应用更加广泛和灵活。
其实早在今年1月,微软就宣布计划将DeepSeek-R1模型的NPU优化版本引入到配备高通骁龙X处理器的CopilotPC上。
微软表示,这些模型将率先在配备高通骁龙X处理器的设备上推出,之后会扩展至英特尔酷睿Ultra200V和AMD锐龙处理器的设备上。
这些模型部署在神经处理单元(NPU)上,不仅能够显著降低对PC电池寿命和散热系统的要求,还能确保用户持续享有强大的AI计算能力。与此同时,中央处理器(CPU)和图形处理器(GPU)可以专注于执行其他任务,从而提升整个系统的运行效率。 这样的设计对于经常需要使用AI功能的用户来说是一个巨大的福音。它不仅延长了笔记本电脑等移动设备的使用时间,还减少了硬件的负担,使得设备在长时间高负载工作下仍能保持良好的性能和稳定性。这无疑推动了人工智能技术在日常计算设备中的广泛应用,为用户提供了更加流畅和高效的体验。
微软还强调,他们运用了自主研发的自动化量具Aqua,将所有DeepSeek模型的不同版本压缩至int4权重。
目前的模型在速度上仍有待提升,14B模型的速度仅为每秒处理8个token,相比之下,1.5B模型的表现要好一些,可以达到近40个token每秒。尽管如此,微软已经表示他们正在积极寻求各种方法来进一步优化这些模型,以提高它们的运行效率。这一进展无疑令人期待,因为更快的处理速度将极大地提升用户体验,并可能为更多应用场景打开大门。
开发者可以利用AIToolkitVSCode插件,在CopilotPC上执行DeepSeek模型的所有压缩版本(1.5B、7B及14B)。
免责声明:本站所有文章来源于网络或投稿,如果任何问题,请联系648751016@qq.com
页面执行时间0.020874秒