「零门槛本地AI助手部署：酷睿AI PC轻松实现智能化生活」

「一键启动智能生活，酷睿AI PC引领本地AI助手革命」

　　 两年前，英特尔酷睿Ultra平台的发布无疑为PC行业注入了新的活力，标志着AIPC时代的加速到来。这一平台不仅推动了硬件性能的提升，也引发了整个行业的创新热潮。不过，与过去更多聚焦于硬件革新或产品形态变化不同，这次的创新浪潮更侧重于AI技术的应用层面。随着越来越多领域的AI应用不断涌现，我们看到它在提升创造力和工作效率方面展现出巨大潜力。例如，在设计领域，AI工具能够快速生成多种设计方案；而在数据分析上，AI更是能以前所未有的速度处理海量信息。这些进步不仅改变了传统的工作方式，也为用户带来了更加智能化、个性化的使用体验。未来，随着更多前沿技术与应用场景结合，相信AIPC将会进一步丰富我们的数字生活，并为企业创造更多商业价值。

　　 在过去的一年多里，AIPC行业虽快速发展，却一直未能迎来真正的爆发点。然而，年初DeepSeek国产大语言模型的成功落地，为这一领域带来了新的机遇。作为一款完全开源且免费的推理模型，DeepSeek使得每个人都能以较低的成本在本地部署自己的AI助手。特别是在采用英特尔酷睿Ultra平台进行部署时，不仅能够实现无门槛的快速搭建，还凭借该平台强大的AI算力支持，让整体使用体验更为卓越。

　　 此外，月之暗面Kimi发布的160亿参数大模型moonlight-16B-A3B-Instruct近期备受关注。这款开源模型无疑为人工智能领域注入了新的活力，其强大的参数量和针对性的训练数据使其在多种应用场景中表现出色。我认为，这一模型的推出不仅展示了技术团队的研发实力，也为开发者提供了更多可能性。随着越来越多的开源模型进入市场，我们看到了技术普惠的趋势，这将有助于推动整个行业的进步。同时，我也期待未来能有更多类似项目涌现，共同构建一个开放、创新的技术生态。

　　 联想小新Pro16GT AI元启版(Ultra 5 225H/32GB/1TB) 电商报价 ￥7199￥7199

　　 今天我们就来探讨一下，利用英特尔酷睿Ultra平台的AIPC设备，如何高效地部署并运行DeepSeek-R1和moonlight-16B-A3B-Instruct这两款大语言模型。从实际体验来看，这套组合在性能表现上确实令人印象深刻，尤其是在多任务处理和响应速度方面。 以我最近的测试为例，在英特尔酷睿Ultra平台上运行这两个模型时，无论是复杂的数据分析还是自然语言生成任务，系统都能保持流畅且稳定的输出。特别是在面对需要实时反馈的应用场景时，这种高效的性能表现显得尤为重要。此外，相较于传统的服务器解决方案，AIPC不仅降低了硬件成本，还显著减少了能耗，这对于追求可持续发展的企业来说无疑是一个加分项。 不过值得注意的是，尽管硬件平台提供了强大的支持，但软件优化同样不可忽视。如何进一步挖掘硬件潜力，提升模型运行效率，仍将是未来研究的一个重要方向。总体而言，这套配置为个人开发者和中小企业提供了一个兼具性价比与灵活性的选择，值得更多关注。

　　 ·部署平台硬件配置信息

　　 本次我们利用Ollama和Flowy两款工具完成了对DeepSeek-R1的本地化部署。与此同时，moonlight是借助Miniforge环境完成部署的。所采用的硬件平台配置如下：

　　 CPU：英特尔酷睿Ultra 5 225H

　　 GPU：英特尔锐炫130T核显

　　 内存：32GB LPDDR5X

　　 硬盘：1TB PCIe 4.0固态硬盘

　　 系统：Windows 11 24H2（26100.2161）

　　 可以看到，采用酷睿Ultra平台部署DeepSeek-R1的成本相对较低，酷睿Ultra5225H处理器搭配锐炫130T核显这样的主流配置便已足够，无需盲目追求高端平台。这对AIPC走向普通用户市场具有重要意义。

　　 接下来，让我们探讨一下如何在个人AIPC上搭建一个无需联网即可运行的、“DeepSeekAI助手”，它不仅更安全，而且成本更低。同时，我们也来了解一下锐炫130T核心在对DeepSeek-R1大模型进行推理时的具体表现如何。

　　 ·借助Ollama或Flowy轻松部署本地AI助手

　　 「预先准备」

　　 在开始部署DeepSeek-R1之前，大家需要先做两个准备：

　　 其一，在撰写本文之前，笔者已经将英特尔锐炫130T核显的驱动程序更新至最新的6559版本。【点击这里访问官网驱动下载页面】

　　 其二，下载Ollama或Flowy软件。选择用哪个软件主要看自己的喜好和习惯。Ollama默认需要通过简单的命令来运行和使用大模型，上手有一点点门槛，但下载、部署模型基本不受限制；而Flowy则直接是可视化软件，安装之后即插即用，只是目前所能部署的大语言模型种类有限。

　　 我们还可以通过魔搭社区或者GitHub直接获取为英特尔酷睿Ultra平台特别优化过的Ollama版本。这一举措无疑为开发者和用户提供了极大的便利，不仅简化了获取资源的流程，还进一步提升了运行效率。对于追求高性能计算的用户来说，这种针对性的优化无疑是令人振奋的消息，它能够让模型在特定硬件上发挥出更出色的性能，从而更好地满足多样化的应用场景需求。同时，这也反映了开源社区和技术平台在推动技术创新和资源共享方面的积极作用。

　　 Flowy软件的下载地址可以【点击此处进入】

　　 「Ollama的安装与部署」

　　 在完成必要的准备工作后，我们可以开始探讨如何利用Ollama将DeepSeek-R1模型部署到个人的AIPC（人工智能个人计算设备）上。这不仅是一个技术上的挑战，更是一种趋势的体现——越来越多的技术爱好者和专业人士希望通过自主部署大模型来满足个性化需求。DeepSeek-R1作为一款功能强大的开源模型，其灵活性和高效性无疑为用户提供了更多可能性。然而，在实际操作过程中，我们需要关注的是如何平衡资源分配与性能优化，同时确保整个部署流程的安全性和稳定性。我认为，这种DIY式的AI应用方式不仅能帮助我们更好地理解模型的工作原理，还能激发更多的创新思维和技术探索。在未来，随着更多类似工具的普及，相信会有更多人加入到这一行列中来，共同推动AI技术的发展与应用。

　　 第一步：下载好的Ollama绿色安装文件经过解压缩后，可以将其移动至容量更大的硬盘中以优化存储空间的使用效率。这种操作不仅便于管理文件，还能在一定程度上提升程序的运行速度。随后，按照下图指示点击start-ollama.bat文件来启动ollama本地服务器。这种方式为用户提供了极大的便利性，尤其是在需要频繁调用相关服务时，能够有效减少等待时间，提高工作效率。同时，这也反映了现代科技产品设计越来越注重用户体验与实用性，值得肯定和支持。

　　 成功运行后会弹出如下图所示的命令行窗口。

　　 第二步：可以通过Windows系统的搜索功能，直接打开「WindowsPowerShell」、「终端」或「命令提示符」窗口。选择你常用的那个工具即可。

　　 下面我们以命令提示符窗口为例：

　　 首先通过：

　　 「cd C:\修改为你解压后?件的位置\ollama-ipex-llm-0.5.4-20250211」

　　 这条命令进入ollama文件夹。

　　 笔者直接放在C盘根目录，所以直接输入cd C:\ollama-ipex-llm-0.5.4-20250211即可。

　　 之后通过：

　　 「ollama run deepseek-r1:7b」

　　 这条命令能够实现deepseek模型的下载与部署。若要部署不同版本的DeepSeek-R1，只需调整冒号后面对应的数字，例如14b、32b等即可。

　　 完成上述步骤之后，ollama会自动开始下载并部署大模型，期间无需做任何操作。

　　 第三步：等待下载完成之后，弹出「Send a massage」之后，用户就可以直接使用刚刚部署好的DeepSeek-R1大模型了。

　　 此外，用户可以打开任务管理器，观察GPU的计算资源（Compute）是否已被充分利用，若被占满则表明DeepSeek-R1已成功部署在酷睿Ultra AIPC上。

　　 此外，ollama并不是只支持命令式操作，用户可以通过Edge或Chrome浏览器中的「Page Assist」扩展程序打造Web UI界面。也可以下载「Chatbox AI」部署客户端。

　　 在完成Chatbox的下载与安装后，确保ollama本地服务器处于正常运行状态，然后参照以下两张图中红框所示的位置进行相关设置。这样便能够顺利借助Chatbox来调用DeepSeek-R1进行工作了。从我的角度来看，这种方式无疑为用户提供了极大的便利性，它不仅简化了操作流程，还进一步降低了技术门槛，让更多普通用户也能轻松享受到先进的AI技术带来的便捷服务。这种设计思路非常值得肯定，因为它真正站在了用户体验的角度去思考问题，使得复杂的科技应用变得触手可及。

　　 判断是否成功仍然可以通过打开任务管理器，观察GPU的计算占用情况来确认。如下图所示，笔者在部署完成后，使用DeepSeek-R1时发现GPU的计算占用已达到满载状态，这种情形即表明部署成功。

　　 我们还对14B模型的token生成情况进行了观察，发现第一个token的生成时间仅需2031毫秒，大约是2秒钟出头，速度相当迅速。

　　 「Flowy的安装与部署」

　　 相比Ollama而言，通过Flowy部署DeepSeek-R1就相当简单了。下载安装Flowy之后，打开软件找到本地模型，默认提供了七种常用大语言模型。目前DeepSeek-R1支持7B、8B、14B以及32B四种，直接下载部署即可使用。

　　 Flowy在使用DeepSeek-R1进行推理时，同样会利用英特尔锐炫GPU来完成计算任务，其计算资源也会被充分利用。得益于锐炫GPU强大的AI加速性能，尽管相比云端服务的生成效率稍逊一筹，但它最大的优势在于无需联网即可使用，同时提供了更高的安全性和隐私保护。

　　 经过笔者的对比测试，DeepSeek-R1的7B版本和14B版本在运行速度上存在差异。这两幅Gif图均为1倍速录制，其中第一张图展示了7B模型的表现，其生成速度较快，但生成结果的细节显得稍显粗糙；而第二张图则是14B模型的运行效果，虽然生成速度较慢，但生成的内容更为完整，逻辑性也更强。

　　 ·本地部署moonlight-ipex-llm大模型

　　 moonlight-ipex-llm也是非常适合英特尔酷睿Ultra平台使用的本地AI大模型，其后缀的ipex-llm就代表了它是支持英特尔ipex-llm框架的，而且整体部署方式比较简单，无需科学上网。另外moonlight实际上就是之前非常火的月之暗面Kimi推出的160亿参数大模型，本地部署之后就相当于有了一个断网也能用的Kimi AI助手。

　　 在部署之前我们要先准备三个文件：

　　 首先我们需要【点击这里访问Github】，依次点击下图中红框标注的convert.py和run_moonlight-16b-a3b-instruct.py两个文件，然后将代码分别复制到两个记事本中以备后续使用。

　　 好的，请提供您需要修改的原始新闻内容，我会根据您的要求进行调整并生成一段意思相近的原创内容。

　　 其次，滚动浏览GitHub页面或【点击这里直接下载miniforge】，这是一款精简版的Python环境和包管理工具。

　　 在众多版本的选择中，用户可以根据自身操作系统的需求进行判断。对于此次采用Windows系统的部署任务，我们只需关注最下方提供的Windows版本即可。这一选择不仅简化了操作流程，也确保了系统的兼容性和稳定性。在我看来，这种按需选择的方式既体现了技术的灵活性，也为用户提供了更多的自主权，使得每个人都能根据自己的实际情况找到最适合的解决方案。同时，这也反映了现代软件开发中对用户体验的高度关注，通过提供多样化的选项，满足不同用户的个性化需求，从而提升整体满意度。

　　 接下来先安装Miniforge.exe，然后建议把之前下载好的convert.py和run_moonlight-16b-a3b-instruct.py拷贝到C盘根目录，或者自定义位置也行，不过要记住两个文件的路径。

　　 完成前期准备后，在开始菜单中的“推荐程序”列表里找到MiniforgePrompt并启动。

　　 请提供需要修改的新闻内容，我将根据您的要求进行调整并融入个人观点。

　　 cd /

　　 conda create -n ipex-llm python=3.11 libuv

　　 请稍等片刻，在安装环境完成后输入“y”并等待安装完成。

　　 conda activate ipex-llm

　　 【输入上面代码之后，前面的base会变成ipex-llm】

　　 之后依次输入下面两行代码下载moonlight-16B-A3B-Instruct大语言模型：

　　 pip install modelscope

　　 modelscope download --model moonshotai/Moonlight-16B-A3B-Instruct --local_dir ./Moonlight-16B-A3B-Instruct

　　 大模型文件共有27个，占全部45个文件的约60%，在下载完成后，Processing 45 items：后的百分比最终会达到100%。这一现象表明，在处理复杂任务时，即使部分文件已经完成下载，系统仍需继续整合剩余资源才能确保整体功能的完整性和稳定性。 从技术角度来看，这种逐步加载与整合的过程反映了现代软件开发中模块化设计的重要性。通过将任务分解为多个小模块，不仅便于管理和调试，还能提高系统的可扩展性。然而，这也提醒我们，即便看似完成了大部分工作，仍需耐心等待每一个细节的完善，以避免因疏忽导致的整体失败。 在我看来，这种现象也映射了现实生活中的许多场景。很多时候，我们以为接近目标就等于成功，但实际上，只有当所有环节都到位时，才能真正实现预期的效果。因此，无论是个人还是团队，在追求效率的同时，都不能忽视对细节的关注和对全局的把控。只有这样，才能在面对复杂挑战时游刃有余，达成最终的目标。

　　 当然可以，请提供您想要修改的新闻内容，我会根据您的要求进行调整并提供新的版本。

　　 pip install --pre --upgrade ipex-llm[xpu_2.6] --extra-index-url https://download.pytorch.org/whl/xpu -i https://pypi.tuna.tsinghua.edu.cn/simple

　　 pip install tiktoken blobfile transformers==4.45 trl==0.11 accelerate==0.26.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

　　 pip install --pre --upgrade ipex-llm

　　 经过一系列操作，我们已经成功完成了moonlight-16B-A3B-Instruct大模型的下载与环境搭建工作。值得注意的是，这一过程不仅考验了技术人员的专业能力，也体现了当前人工智能技术应用的复杂性。从我的观察来看，大模型文件通常会存放在用户预先设定的位置，例如一些用户会选择将其放置在C盘的根目录下，这样做的好处是便于快速访问和管理。然而，这也提醒我们在进行相关操作时需要充分考虑存储空间以及系统性能的影响。未来，随着更多类似项目的推进，如何优化安装流程、提升用户体验将是值得深入探讨的话题。

　　 接下来，请回想一下我们之前保存的convert.py文件。此时需要使用记事本将其打开，并将下图红框中标注的两处「C:\Users\Le\Documents」修改为你自己的大模型文件存储路径。例如，如果你将模型文件下载到了C盘根目录，那么可以将其改为「C:\Moonlight-16B-A3B-Instruct」和「C:\Moonlight-16B-A3B-Instruct-converted」。完成修改后，直接保存文件即可。

　　 之后运行下方代码进行模型转换，整个过程全自动，无需做任何操作。

　　 python convert.py

　　 稍等片刻再次弹出「（ipex-llm）c:\>」，模型转换工作就完成了。之后将「C:\Moonlight-16B-A3B-Instruct」中的所有?件复制?「C:\Moonlight-16B-A3B-Instruct-converted」内，并在提?存在重复?件时跳过所有重复?件，一定要点击跳过，不要覆盖，大模型到此就完成了部署。

　　 好的，请提供需要修改的新闻内容，我会根据您的要求进行调整并生成新的内容。

　　 conda activate ipex-llm

　　 set SYCL_CACHE_PERSISTENT=1

　　 set SYCL_PI_LEVEL_ZERO_USE_IMMEDIATE_COMMANDLISTS=1

　　 python run_moonlight-16B-A3B-instruct.py

　　 以后若想再次使用，只需从`conda activate ipex-llm`这条命令开始即可。这一操作流程为开发者和研究人员提供了极大的便利，使得他们在复杂的模型环境配置中能够快速进入工作状态。特别是在大模型领域，环境搭建往往是一个耗时且容易出错的过程，而通过使用Conda这样的包管理工具，不仅能够有效管理依赖关系，还能显著提升工作效率。这背后也反映了当前人工智能技术发展的一个趋势：越来越注重工具链的完善与优化，从而让研究者可以更加专注于算法创新本身。这种对用户体验的关注值得肯定，同时也提醒我们，在追求技术创新的同时，也要不断改善周边生态，这样才能更好地推动整个行业向前发展。

　　 【重要】此外，如果运行最后一条代码后出现下方报错提示：

　　 在「C:\Moonlight-16B-A3B-Instruct-converted」目录下，可以找到名为`modeling_deepseek.py`的文件。使用记事本打开后，按下Ctrl+F调出搜索功能，输入关键词“max_cache”即可定位到相关代码段。在此处，需要将`get_seq_length()`函数内的参数“seq”更改为“max”，然后保存修改后的文件。接下来，只需执行`python run_moonlight-16B-A3B-instruct.py`命令，便能够顺利启动这款大模型。 从技术角度来看，这种操作方式相对直观且高效，体现了开发者对用户友好性的重视。通过简单的文本替换就能实现功能调整，这不仅降低了普通用户的使用门槛，也使得更多非专业人士能够轻松上手复杂的AI工具。不过，值得注意的是，在进行任何代码改动之前，最好先备份原始文件以防万一出现问题。此外，随着人工智能技术的不断发展，未来或许会有更加自动化的方式来处理这类需求，进一步提升用户体验。总之，这一流程展示了当前阶段AI应用的一种常见模式，值得肯定和支持。

　　 与Ollama和Flowy不同的是，moonlight工作时更加依赖GPU共享显存，而Compute负载非常低。从下图可以看到，moonlight-16B-A3B-instruct进行推理时，GPU显存占用率会明显上升，另外内存的占用率也不低。

　　 在部署Moonlight的过程中，由于之前的Ultra 5225H平台已经归还给厂商，我们临时启用了一台基于Ultra 9285H锐炫140T核显的新平台。尽管这两款设备在传统性能表现上有较大差距，但在AI算力方面却出乎意料地接近。这表明，随着技术的进步，硬件的计算能力分布正在变得更加均衡，即使是不同定位的产品，也可能在特定应用场景下展现出相似的表现。 从这一现象可以看出，未来在选择硬件时，除了关注其基础性能外，还需要综合考虑具体任务的需求。对于一些依赖AI运算的应用场景来说，或许不需要一味追求顶级配置，而应更注重性价比与实际效果之间的平衡。这种变化不仅为用户提供了更多元化的选择空间，也推动了整个行业向着更加高效、灵活的方向发展。

　　 通过moonlight-16B-A3B-instruct大模型的应用，无论是编程还是问答任务都展现了令人印象深刻的速度表现。在编程场景下，Firsttoken的响应时间仅需4.01毫秒，而平均处理速度更是高达39.64tokens/s，这种即时反馈让人几乎感觉不到延迟，非常适合需要高效开发的工作环境。而在问答环节，虽然Firsttoken耗时稍长，达到12.14毫秒，但其平均速度依然稳定在32.83tokens/s，这表明该模型在面对复杂问题时依旧能够保持流畅运行。 从实际体验来看，这款基于英特尔ipex-llm框架优化后的模型，在酷睿Ultra平台上的性能确实值得肯定。它不仅满足了日常工作的需求，还提供了超出预期的操作效率。特别是在当前追求高性能计算的时代背景下，这样的表现无疑为用户带来了更优质的交互体验。 总体而言，moonlight-16B-A3B-instruct大模型的成功部署证明了硬件与软件结合的重要性。未来随着技术进步，相信会有更多类似的解决方案涌现出来，进一步推动人工智能领域的发展。同时这也提醒我们，在选择技术方案时不仅要关注单一指标如速度，还需要综合考虑整体性能以及应用场景的实际适配性。

　　 ·英特尔酷睿Ultra 200H平台理论AI性能测试

　　 了解了如何在酷睿Ultra 200H AI PC上部署本地DeepSeek-R1大语言模型以及如何使用之后，我们不妨看看酷睿Ultra 200H的理论AI算力如何？以及它为什么能够在本地运行时也能够提供非常快速的生成体验？

　　 「UL Procyon理论与应用测试」

　　 英特尔酷睿Ultra5225H在Intel OpenVINO加速的支持下，展现了强大的AI处理能力。其CPU整数AI算力评分达到368，GPU的Float16 AI算力评分高达799，而NPU的Float16 AI算力评分则为383。与第一代酷睿Ultra9185H相比，新一代的酷睿Ultra5225H在CPU、GPU、NPU的AI算力上分别实现了323%、71%和141%的显著提升。这些数据表明，英特尔在处理器架构优化方面取得了重要进展，尤其是在AI计算领域，这种性能飞跃无疑会推动更多应用场景的发展。 从我的角度来看，这次性能的大幅提升不仅体现了英特尔在硬件设计上的持续创新，也反映了其对AI技术发展的高度重视。对于用户而言，这意味着更强的计算能力和更高效的AI应用体验。无论是专业领域的图像处理还是日常使用的智能助手，酷睿Ultra5225H都能提供更加流畅的支持。未来，随着AI技术的不断进步，相信英特尔将继续引领行业潮流，为用户提供更多惊喜。

　　 接下来我们看看酷睿Ultra 5 225H平台在AI文本生成测试中的表现。下图可以看到，UL Procyon文本生成测试中也完全占用了GPU Compute。

　　 该项测试主要包含Phi-3.5、Mistral 7B、Llama 3.1以及Llama 2四种大语言模型，酷睿Ultra 5 225H平台分别得分648、616、586以及598分。

　　 Phi-3.5的平均生成速度达到17.97tokens/s，Mistral7B的平均生成速度为12.28tokens/s，Llama3.1的平均生成速度为11.44tokens/s，而Llama2的平均生成速度为7.2tokens/s。

　　 在大语言模型中，**tokens** 是用于生成文本的基本单位，其生成速度通常以 tokens/s 来衡量。例如，“我们今天学习AI知识。”这句话，大语言模型会将其分解为多个部分，如“我们”、“今天”、“学习”、“AI”、“知识”以及“。”等，这些单字、词语和标点符号各自作为一个 token。

　　 酷睿Ultra9285H平台采用了锐炫140T核显，其CPU性能相较于Ultra5225H存在一定的差距，但在GPU性能上两者相差无几。因此，在进行AI相关任务时，两个平台的整体表现差异并不会特别显著。 从实际应用角度来看，尽管CPU性能的高低会对某些特定场景下的计算效率产生影响，但对于大多数AI工作负载而言，强大的GPU性能往往才是决定成败的关键因素。这也表明，英特尔在优化GPU性能方面已经取得了不错的进展，使得不同档次的产品在面对AI任务时能够展现出相对接近的实际效能。这种设计思路不仅满足了用户对性价比的需求，也为那些更关注图形处理能力的专业人士提供了可靠的选择。不过，对于需要更高多线程处理能力的应用场景，选择合适的CPU型号仍然十分重要。

　　 在采用Intel OpenVINO加速的情况下，英特尔酷睿Ultra 9285H处理器的CPU整数AI算力评分为439，GPU Float16 AI算力评分为790，而NPU Float16 AI算力评分为366。

　　 酷睿Ultra9285H平台在多次测试中表现稳定，分别取得了661、632、619以及610分的成绩，整体性能明显优于酷睿Ultra5225H。这一结果不仅展示了酷睿Ultra9285H在技术上的进步，也进一步巩固了其在高性能处理器领域的领先地位。从实际测试数据来看，酷睿Ultra9285H在多任务处理和图形性能方面表现出色，这无疑为用户带来了更流畅的使用体验。尤其对于需要高强度计算的专业人士而言，这款处理器无疑是理想的选择。不过，值得注意的是，虽然性能有所提升，但价格和功耗也可能随之增加，因此消费者在选购时还需根据自身需求权衡利弊。总体而言，酷睿Ultra9285H的优异表现令人期待其在未来市场中的更多可能性。

　　 Phi-3.5的大模型平均生成速度为18tokens/s，Mistral7B的平均生成速度为11.78tokens/s，Llama3.1的平均生成速度为11.38tokens/s，而Llama2的平均生成速度为6.87tokens/s，其性能与Ultra5225H平台无显著差别。因此，无论是高端还是主流配置，第二代酷睿Ultra在AI应用场景下的整体表现都相当出色，能够满足不同预算用户对AI计算的需求。

　　 「MLPerf Client基准性能测试」

　　 我们将推出一项全新的测试——MLPerf客户端基准性能测试。这项工具由MLCommons开发，主要用于衡量个人电脑（涵盖笔记本电脑、台式机以及工作站）在运行大型语言模型（LLMs）及其他AI任务时的表现。该测试通过模拟实际应用中的AI场景，例如AI聊天机器人和图像识别等，为用户提供直观的性能参考，助力用户了解设备处理生成式AI任务的实际能力。

　　 由于该测试工具兼容Intel OpenVINO加速技术，这有助于我们更清晰地掌握酷睿Ultra平台运行AI任务的真实性能。从下图可以看出，在进行MLPerf测试的过程中，GPU计算资源也会被充分利用。

　　 MLPerf测试显示，Llama2-7B_INT4模型的整体硬件需求并不算高，首次推理响应时间不到1秒，平均每秒可处理12.91个tokens，因此酷睿Ultra 5225H平台在本地化AI部署上完全能够满足性能要求。

　　 酷睿Ultra9285H平台在MLPerf测试中，首次推理时间不到1秒，平均每秒处理12.05个tokens，这一表现与酷睿Ultra5225H平台相当。

　　 ·结语

　　 深自求索（DeepSeek）、月光（Moonlight）等国产大语言模型的成功应用，对人工智能个人计算设备（AIPC）在普通用户中的认知与推广起到了关键的促进作用。过去，很多人或许只听说过AIPC这一概念，但对于它的具体内涵、使用方式以及与传统PC的区别等方面却并不明晰。而这些国产大模型激发的兴趣热潮，能够帮助更多用户找到这些问题的答案。

　　 同时，基于英特尔酷睿Ultra系列处理器的AIPC正逐渐成为性能与稳定性俱佳的本地化AI部署平台。从实际应用来看，该平台不仅完美兼容Ollama、Flowy、LMStudio、Miniforge等主流软件，还通过Intel OpenVINO技术进一步提升了运行效率。特别是酷睿Ultra200系列在CPU、GPU以及NPU的AI算力上均有显著提升，这使得整个系统的运行效率和用户体验都有了质的飞跃。无论是开发者还是普通用户，都能以更低的学习成本快速完成AI工具的部署与使用，这对推动AI技术普及具有重要意义。未来，随着硬件性能的持续优化，这类平台有望让更多人轻松享受AI带来的便利，在工作、学习乃至日常生活中实现更智能的应用场景。

　　 此外，本地化AI应用具备安全、隐私保护、操作便捷、无需联网以及低成本使用的优点，能够帮助用户在任何时间、任何地点安全私密地利用AI技术提高工作效率和学习效果。所以，如果你打算将DeepSeek、moonlight这类大型语言模型部署到本地运行，那么英特尔酷睿Ultra AIPC无疑是目前一个极佳的选择。