酷睿Ultra+OpenVINO双擎驱动:DeepSeek 14B实现令牌处理速度新巅峰
一、前言:哪个发烧友能抵挡本地部署大模型的诱惑
今年年初,横空出世的DeepSeekAI大模型迅速走红,一夜之间成为热议焦点,各行各业都在讨论这款强大的模型。而在已经开启第二年的AIPC领域,自然也不会缺席这场热潮。
相比于直接为成熟的AI应用买单,DeepSeek因其完全开源的属性吸引了众多技术爱好者,他们更倾向于在本地环境中进行部署,以充分挖掘日益强劲的硬件AI算力潜力。 在我看来,DeepSeek的开源特性不仅降低了技术门槛,也让更多人能够根据自身需求定制化开发,这对于推动AI技术的普及和创新具有重要意义。同时,这也反映出当前AI行业正在经历一场从集中式服务向分布式计算的转变,这种趋势或将重塑未来的科技生态。本地部署的方式不仅能更好地保护数据隐私,还能让使用者更加灵活地调整模型功能,这无疑为AI技术的实际应用提供了更多的可能性。
不过,对于常见的笔记本电脑平台来说,在本地运行DeepSeek大模型的表现如何呢?
我们搜集了目前较为新款的轻薄本,分别搭载Intel平台和AMD平台各一台,打算测试一下这两个不同平台在本地运行DeepSeek大模型时的具体表现。
当然我们在本地部署的DeepSeek只能是蒸馏版,因为满血版DeepSeek-R1模型高达671b的参数根本不是小飞机平台所能容纳的,好在还有六个蒸馏后不同规模的小模型,方便玩家根据自己的硬件配置选择合适的模型规模。
DeepSeek-R1大模型和由它蒸馏而来的六个小模型都是开源的,每个人都可以下载部署到自己的设备上。
在挑选合适模型规模时,核心因素在于运行设备的显存或内存容量。尤其是对普通玩家来说,笔记本用户更应重点关注内存大小。
自从AIPC概念兴起之后,电脑的内存容量开始逐渐从32GB起跳,就连一向以高端著称的苹果也被戏称为“用金子做内存”,其最新推出的Mac Mini M4也将内存基础配置提升至16GB。
免责声明:本站所有文章来源于网络或投稿,如果任何问题,请联系648751016@qq.com
页面执行时间0.015748秒