首页 > 企业动态
2024
12-09

知乎技术突破!开源自研大模型推理框架 ZhiLight 炙手可热

企业动态
jinting
围观3061次
0条评论
发布日期:2024年12月09日 18:56:36

知乎技术突破!开源自研大模型推理框架 ZhiLight 炙手可热

知乎自研大模型推理框架 ZhiLight:AI巨头之路

科技快讯中文网

   12月7日,近日,知乎与DataFun合作举办了以《大模型应用工程化实践:从实验室到千万级用户产品》为主题的技术沙龙。活动中,知乎AI算法负责人王界武、机器学习平台负责人王新、百川智能大语言模型资深算法专家王宇龙及“提示词布道师”李继刚带来了关于大模型的专业分享和深入讨论。此次活动吸引了来自15个不同行业的130家企业的参会者。知乎首席技术官孙斌在活动现场宣布,知乎自主研发的轻量且高效的大型模型推理框架ZhiLight已正式对外开源。

知乎技术突破!开源自研大模型推理框架 ZhiLight 炙手可热

   知乎直答与推理框架 ZhiLight:知乎加速大模型工程化实践

知乎技术突破!开源自研大模型推理框架 ZhiLight 炙手可热

   2024年,知乎不断深化大模型的工程化应用,分别在6月和10月推出了知乎直答及专业搜索功能,旨在提升专业人士的工作效率,进一步拓展了AI搜索在专业性和实用性方面的深度搜索能力。

知乎技术突破!开源自研大模型推理框架 ZhiLight 炙手可热

   (知乎 AI 算法负责人王界武)

知乎技术突破!开源自研大模型推理框架 ZhiLight 炙手可热

   在技术沙龙上,知乎AI算法负责人王界武详细讲述了知乎直答从零到一的建设历程,并着重分享了技术方案的选择和“踩坑”经验。据他介绍,知乎直答团队在构建AI问答系统时,对比了两种技术路线:一是持续对大语言模型进行预训练和后训练(LLM),二是采用检索增强生成(RAG)方案。最终,RAG方案在成本、时效性、准确性和可扩展性等方面表现更优。当用户提问时,RAG系统首先从知识库中检索相关信息作为上下文,然后由大语言模型生成回答。团队通过对查询理解、召回率和大语言模型生成等多个环节的深入优化,显著减少了AI的幻觉问题,使答案更加准确和权威。

知乎技术突破!开源自研大模型推理框架 ZhiLight 炙手可热

   在专业搜索功能方面,知乎直答团队采用了多种前沿技术。他们不仅实现了多个智能体的协同工作,支持信息查询、内容分析、数学计算等多种功能,还结合了大规模语言模型的强大推理能力,对用户的上下文和提问进行了深入分析,从而从多角度、多层次召回多样且高质量的内容。此外,知乎直答的专业搜索还在思维链提示词工程、智能文档解析、动态资源调度等多个技术模块上取得了显著进展。 这种综合运用多种先进技术的做法,使得知乎直答的专业搜索功能更加智能化和高效化。用户能够获得更精准、更全面的信息服务,极大地提升了用户体验。同时,这也展示了知乎直答团队在技术创新方面的持续努力和领先地位,对于推动整个知识服务平台的发展具有重要意义。

知乎技术突破!开源自研大模型推理框架 ZhiLight 炙手可热

   王界武介绍,下一步,知乎直答团队计划进一步深化产品与社区的融合,以满足不同场景下用户寻找答案的需求,在准确度、时效性和交互模式等方面实现更多升级。同时,团队还将继续提升模型的推理能力,使知乎直答能够更好地应对复杂问题,并提供更佳的用户体验。

知乎技术突破!开源自研大模型推理框架 ZhiLight 炙手可热

   除了知乎直答,知乎自研的大模型推理框架ZhiLight也在本次活动中正式亮相。据知乎机器学习平台负责人王新介绍,知乎在多种型号的英伟达设备上部署了大量的大模型推理服务,这些服务广泛应用了优秀的开源项目vLLM和SGLang。 从这一系列的技术布局可以看出,知乎在人工智能领域持续发力,不仅致力于提升自身平台的内容质量和用户体验,还通过开源合作推动技术的进步。这种积极的态度有助于构建更加开放和共享的技术生态,同时也为其他企业和研究机构提供了宝贵的参考和借鉴。此外,这也反映出知乎对技术创新的重视,以及对未来发展趋势的敏锐洞察。

   (知乎机器学习平台负责人王新)

   与此同时,知乎也在探索更低成本、更具可扩展性的自研推理框架方案。2023 年开始,知乎与面壁智能合作开发知海图大模型以及一系列大模型训练与推理工程架构。其中 ZhiLight 的设计目标是可以快速部署与实践 LLaMa-like 模型。

   (ZhiLight 卡间通讯优化效果)

   据介绍,ZhiLight目前支持OpenAI的chat和completions接口,并且在监控指标方面与vLLM保持一致,方便日常使用及与其他如vLLM等开源引擎的性能和稳定性对比。ZhiLight的优化重点在于PCIe卡之间的通信优化、内存管理和并发请求处理优化。此外,它还整合了FlashAttention、Marlin、TensorRT和exllama等开源项目。通过实现计算与通信的重叠以及采用低精度通信等方法,ZhiLight成功将单层Transformer的计算时间缩短了40%以上。

   (ZhiLight 引擎的性能表现)

   如上图,当模型规模达到70B时,多卡推理过程中卡间的通信延迟问题变得越来越突出。在实际测试中,ZhiLight在TTFT(端到端吞吐量)指标上显著优于当前主流的开源推理引擎。特别是在110B规模的情况下,ZhiLight的优势更加明显。 从这一观察来看,ZhiLight在处理大规模模型时表现出色,这表明其在优化通信效率方面有着独特的优势。这对于需要处理海量数据和复杂模型的场景来说尤为重要,比如在人工智能研究、大规模数据分析等领域,ZhiLight的高效性能无疑为这些应用提供了强有力的支持。此外,这也反映出中国在自主开发高性能AI工具方面的进步,为全球AI技术发展贡献了重要的力量。

   (知乎 CTO 孙斌)

   最后,在活动现场,知乎的CTO孙斌宣布了ZhiLight项目的正式开源(https://github.com/zhihu/ZhiLight)。知乎未来希望能够与科技行业的从业者们共同建设一个开源开放的技术交流社区,并促进前沿技术的讨论从线上知乎平台扩展到线下活动中。

   Agent、AGI、Prompt……大模型技术前瞻与畅想

   从  Agent 到 AGI 我们还有多远?百川智能大语言模型资深算法专家王宇龙从一个探索 Agent 极限实验开始,详细介绍了为什么要构建 Agent。

   (百川智能大语言模型资深算法专家王宇龙)

   在他看来,基于大型语言模型(LLM)驱动的智能体与传统Agent相比,利用了LLM的强大能力,彻底改变了智能体的工作模式。这类智能体不再是单一任务的执行者,而是在多种任务间灵活切换,并通过理解自然语言来解决复杂问题。其核心能力可以概括为:规划、记忆、工具使用。 这类智能体的发展标志着人工智能领域的一次重大飞跃。它们不仅能够理解和处理复杂的自然语言指令,还能根据上下文进行合理的推理和决策。这种能力使得智能体在实际应用中的表现更加接近人类,尤其是在需要多步骤推理的任务中,例如客户服务、医疗咨询等场景。此外,这些智能体还能够通过学习不断优化自身的性能,从而在长期使用中展现出更高的效率和准确度。 不过,值得注意的是,尽管LLM驱动的智能体具有许多优势,但在某些特定任务上,它们的表现可能仍不及专门设计的传统Agent。因此,在实际应用中,如何合理结合这两种技术,发挥各自的优势,将是未来研究的重要方向之一。

   王宇龙还指出,目前智能代理(Agent)面临的主要挑战包括:缺乏系统的理论指导、各种架构五花八门、设计理念多种多样、实际效果良莠不齐,并进一步阐述了智能代理与大型语言模型(LLM)的底层工作机制。

   王宇龙认为,科学之所以可能,是因为存在一些可计算简化的区域,这些区域即使在普遍的不可计算简化之中也允许规律和预测的存在。人工智能有可能以新的方式发现并利用这些简化的区域。AI非常适合通过捕捉数据中的规律来做出近似、「大致正确」的预测,这与人类思维的方式相似。但是它在进行精确、详细的预测时会遇到困难,特别是在面对计算不可约性的时候。

   在本次交流会上,“提示词布道师”李继刚分享了关于Prompt的理论与实践。他提出“Prompt即表达”,而“表达即本意文意解意”,并进一步解释了“本意源于经验、词汇和知识”的概念,同时探讨了大模型与Prompt之间的关系:模型效果取决于LLM(大型语言模型)与任务提示(TaskPrompt)的结合。

   (「提示词布道师」李继刚)

   李继刚在会上分享了大量关于Prompt实战的经验。他认为,去年Prompt的关键在于从短到长的设计,而今年则转向了从长到短。然而,无论形式如何变化,最关键的是要与大模型产生“共振”。在ChatGPT兴起时,他和其他许多人一样,倾向于给大模型编写很长的Prompt。但自今年起,他更习惯于将Prompt简化为一个词,以此作为触发大模型生成内容的起点。在他看来,通过最清晰、简洁的表达方式,直指问题的核心,才是解决问题的最佳途径。 这种趋势反映了人工智能领域的一种进步,即更加注重效率与精准度。随着技术的发展,人们逐渐意识到,过于复杂的Prompt不仅不会提升生成内容的质量,反而可能因为信息过载而降低效果。因此,简明扼要地传达核心意图,成为了与大模型有效互动的新趋势。这不仅是对技术应用的一种优化,也体现了用户对高效、精准服务的需求日益增加。通过这样的方式,可以更好地利用大模型的能力,服务于更广泛的应用场景,提高用户体验。

   李继刚认为,提示工程师应当兼具人文与技术两大基本素质,既能够编写程序,拥有理性和数学逻辑思维,又擅长写作,具备感性的表达能力。

   (知乎智能算法部负责人张亚峰)

   此次大模型技术沙龙由知乎发起,并与Datafun合作举办,这也是知乎系列技术沙龙的首场活动。知乎智能算法部负责人张亚峰提到,每天都有众多行业内对大模型抱有浓厚兴趣的人们在知乎上交流新技术和应用经验。我们计划将这些高质量的线上讨论延续到线下,组织一系列类似的高品质活动。未来,知乎将进一步增强与科技行业的互动,加强与技术从业者的联系,共同推动互联网领域前沿技术的研发与应用。

    

本文固定链接: https://www.news9999.cn/arts_content-3247.html 转载请注明出处(科技快讯中文网-www.news9999.cn)
最新发布 城市骑士焕新登场:饿了么淘宝闪购升级保障计划,制服换装引关注  2025-08-17 20:12:42 九识智能携手江苏联通打造5G+智慧物流新未来  2025-08-17 20:06:38 扎克伯格2024安保费破2700万,竟超六位科技大佬总和?  2025-08-17 19:55:09 城市骑士正式上线!饿了么×淘宝闪购升级骑手形象,开启全新服务时代  2025-08-17 19:54:01 小米德国首家官方旗舰店即将开业,掀起海外布局新高潮  2025-08-17 19:49:31 腾讯股价创四年新高,市值首破7000亿美元  2025-08-14 07:07:40 马斯克断舍离:自研芯片梦碎,六年白干背后真相曝光  2025-08-14 07:05:16 广汽埃安拟控股华望,华为合作再掀新篇章  2025-08-11 20:25:45 微软17亿美元买粪埋地?AI节能新招引热议  2025-08-11 20:01:41 蚂蚁集团否认参与稀土人民币稳定币项目,中国稀土集团回应未有相关计划  2025-08-11 19:50:52 董宇辉离开一年后,东方甄选股价狂飙200%:谁真正改变了谁?  2025-08-11 19:38:34 全球首条无FMM第8.6代AMOLED产线封顶,维信诺引领柔性显示新纪元  2025-08-11 19:36:08 京东夏日音享计划燃情落幕,Live音乐引爆线下狂欢现场  2025-08-11 19:22:22 三星半导体拟斥资500亿美元!特斯拉苹果订单引爆美国投资热潮  2025-08-11 18:41:54 震骨价出炉!京东养车50亿补贴全网征名引发热议  2025-08-11 18:38:51 蚂蚁集团回应稀土人民币稳定币传闻:警惕虚假信息陷阱  2025-08-11 18:37:22 掌控未来交易:Exness快速出金重塑自主权新纪元  2025-08-07 11:53:52 余承东发布享界S9T:草原上跳起蒙古舞的科技新篇  2025-08-07 11:23:20 中国船舶联手中国重工,全球最大船企重磅合体  2025-08-07 10:41:50 库克豪赌美国制造:苹果砸6000亿重塑全球产业链  2025-08-07 10:11:54 打白条买火车票成真,京东支付正式入驻12306  2025-08-07 09:54:53 夜行先锋:Aurora自动驾驶卡车开启高效夜间运输新时代  2025-08-04 15:37:08 电竞新势力崛起:完美世界携手英伟达、英特尔等巨头共创未来  2025-08-04 14:59:04 美团、饿了么、京东联手喊反内卷,行业:非拒竞争,执行难在哪?  2025-08-04 14:54:14 网易云音乐重磅布局播客领域,罗大佑樊登等大咖强势入驻  2025-08-04 14:42:10
友情链接 百度权重≥5友情链接交换
文化潮流网  |  数界探索  |  文化新视界  |  深度文化说  |  智慧科技  |  财智慧  |  慧算财经  |  财经探秘  |  财经日报  |  今日财经
© 2015-2025 科技快讯中文网 时光记忆 版权所有 备案号:陇ICP备2025016403号-1

免责声明:本站所有文章来源于网络或投稿,如果任何问题,请联系648751016@qq.com

网站地图  联系我们  用户投稿  关于我们

页面执行时间0.01034秒