[谷歌AI领航员Jeff Dean对话Transformer创作者：AI提速300倍，百万倍效率工程师即将降临]

百万倍效能革命：AI技术飞跃助力超级工程师时代来临

　　 谷歌首席科学家Jeff Dean与Transformer作者Noam Shazeer在一次访谈中不仅揭示了通过低精度计算技术使模型速度提升三倍的秘密，还讲述了「猫神经元」等早期AI突破背后的故事，并大胆展望了AI处理万亿级别Token以及实现「1000万倍工程师」目标的可能性。

　　 如果没有「Attention Is All You Need」这篇论文，今天的 AI 会是什么样子？

　　 Jeff Dean，谷歌的首席科学家，与Transformer的作者Noam Shazeer，在一次深度访谈中不仅回顾了人工智能发展的关键节点，还对未来的发展方向做出了大胆预测。

　　 他们揭示了模型蒸馏和MoE架构的秘密，甚至还探讨了如何使AI模型处理整个网络的信息！

　　 访谈内容十分丰富，看点十足。

　　 「最近，我感觉基于通用 CPU 的机器扩展性不如以前了。」Jeff 说。

　　 他表示，目前，制造工艺的改进周期已延长至三年，而不再是过去的两年。此外，像多核处理器这样的架构创新似乎也未能达到我们曾经在20到10年前所见证的那种性能飞跃。 这种变化反映出半导体行业面临的挑战日益增加，尤其是在追求更小制程节点的过程中。技术壁垒的增高意味着研发成本和复杂度都在上升，这不仅影响了产品的上市时间，也可能推高最终消费者的购买价格。尽管如此，这也提醒我们关注那些非传统领域的发展潜力，比如量子计算和新材料科学，它们可能成为推动未来计算能力飞跃的关键因素。

　　 但是，随着越来越多的专用计算设备的涌现，如机器学习加速器、TPU以及最近针对机器学习优化的GPU，我们正在见证现代计算能力的巨大飞跃。这些设备不仅提供了极高的性能，还带来了出色的能效比。与传统计算方式，例如用于运行Microsoft Office等日常办公软件的C语言代码相比，这种新型计算方式在处理复杂的数据分析和机器学习任务时展现出明显的优势。 这些专用设备的应用范围正逐渐扩大，从数据中心到边缘设备，为各行各业带来了前所未有的机遇。尽管如此，我们也应该注意到，虽然这些新技术在特定领域内表现出色，但如何平衡其与现有技术的兼容性，以及确保广泛的普及和使用仍然是一个挑战。此外，随着技术的进步，对相关专业人才的需求也在不断增加，这提示我们未来的教育和培训体系需要做出相应的调整以适应这一变化。

　　 可以说，如今，算法的设计和发展越来越受到硬件性能的影响。Noam提到，当前进行算术运算的成本已经相当低廉，相比之下，数据传输的成本仍然偏高。 这种现象促使开发者在设计算法时需要更加注重减少数据移动的需求，转而更多地依赖本地计算。随着技术的进步，我们有理由相信未来的硬件会进一步优化以降低数据传输成本，这也将反过来推动算法的创新和优化。对于行业而言，这意味着要持续关注硬件发展趋势，并适时调整算法策略，以便在保证性能的同时最大限度地降低成本。

　　 正因为如此，深度学习才得以迅猛发展。「你可以通过矩阵乘法来搭建深度学习模型，这实际上涉及到了N立方次的计算操作以及N平方字节的数据交换。」Noam指出。 这种高效的算法设计不仅极大地提升了深度学习的处理能力，也降低了实现的技术门槛。在当今这个数据量爆炸式增长的时代，这样的技术特性显得尤为重要。它使得更多企业和研究机构能够参与到这场技术革命中，推动了整个领域的发展与进步。

　　 对此，Jeff表示认同。他认为，向硬件转向的这一重要变化至关重要，因为在此之前，CPU和GPU在处理深度学习任务时并不特别高效。 这样的转变不仅推动了技术的发展，还促进了整个行业的进步。随着专用硬件的出现，深度学习模型的训练速度和效率得到了显著提升，这对于加速人工智能的研究和应用具有深远的意义。

　　 后来，谷歌着手研发TPU，这些TPU实际上是专为低精度线性代数运算设计的处理器。一旦这类硬件问世，就必须充分发掘其潜力。

　　 就像拉里·佩奇曾指出的：“我们的第二大成本是税收，最大成本是机会成本。”这句话深刻地揭示了企业在经营过程中面临的挑战。在当前的经济环境下，企业不仅要应对各种税费带来的压力，还要更加关注那些无形的机会成本。这些机会成本往往难以量化，但它们对企业长期发展的影响却是巨大的。因此，如何合理规划资源，减少不必要的开支，同时抓住关键的发展机遇，成为企业必须认真思考的问题。通过优化内部管理，提高运营效率，企业可以在激烈的市场竞争中占据更有利的位置，从而实现可持续发展。

　　 然后，接下来需要调整的是算法或数据流等方面。Jeff补充说，“哦，对了，算术运算的精度可以相对较低，这样就能在芯片上集成更多的乘法单元。”

　　 「我觉得一个常见的趋势是，我们在量化以及建立低精度模型方面变得越来越擅长。」Jeff表示。

　　 从 TPUv1 开始，当时他们甚至不确定能否使用 8 位整数进行量化并进行模型推理。但有一些早期证据显示这可能是可行的，于是他们就决定围绕这一点构建整个芯片。

　　 随着时间的推移，大家已经能够在训练中使用更低精度了。而且推理的精度也降低了。现在人们使用 INT4 或者 FP4。

　　 “如果20年前你告诉一位超级计算机浮点运算专家，我们需要采用FP4，他肯定会认为这太过激了。”Jeff提到，他们更偏爱64位的浮点数。

　　 Jeff提到，“一些人正尝试将模型量化至2位甚至1位精度，这似乎是一个明确的趋势。虽然量化过程确实有些繁琐，但你的模型运行速度可以提升三倍，因此你必须适应这种变化。” 这种趋势表明，在追求更高效率与更快速度的过程中，技术开发者们正在寻找各种方法来优化他们的算法。尽管量化可能带来额外的技术挑战，但它所带来的性能提升无疑是吸引人的。这也反映出整个行业在不断探索如何在有限资源下实现最优性能的路径。

　　 当 Jeff 被问到有没有在研究某个领域时，突然有了想法，并且有种「天啊，简直不敢相信这竟然成功了」的感觉时。Jeff 回忆起在 Brain 团队早期的时候。

　　 那个时候，他们专注于「看看能否构建一些基础设施，让我们能够训练非常非常大的神经网络」。

　　 当时，他们的数据中心虽然缺乏GPU，但凭借丰富的CPU资源，成功开发出一套高效系统。该系统采用模型并行和数据并行的方法，实现了对大规模神经网络的有效训练。这不仅展示了技术团队卓越的工程能力，也表明在硬件受限的情况下，通过创新的软件解决方案同样可以达到高性能计算的目标。这一成就对于那些受限于硬件条件却渴望进行复杂模型训练的机构来说，无疑是一个鼓舞人心的例子。

　　 Jeff提到，他们开发了一个系统，该系统对1000万个随机选取的YouTube视频帧进行了无监督学习。这种方法侧重于空间局部表示，因此它通过从高层次表示中重建图像来生成无监督表示。为了完成这项任务，该系统在2000台计算机上运行，利用了16000个处理器核心进行训练。

　　 不久之后，该模型确实能够在一个高层次上构建一个表示，其中有一个神经元会对猫的图像产生反应。这表明了深度学习技术在识别复杂模式上的强大能力，特别是在处理如图像识别这样复杂的任务时。这种方法不仅提高了准确性和效率，还为人工智能在日常生活中的应用开辟了新的可能性，比如智能相机和自动化的图像分类系统。这种技术的进步让我们对未来的科技发展充满期待，同时也引发了关于隐私和伦理使用的讨论。

　　 “它从未接受过关于‘猫’的概念培训，但在其训练数据中已经接触了足够多的猫的正面图像，因此这个神经元会对这些图像产生反应，而对其他物体则不那么敏感。”这表明，神经网络通过大量数据的学习，能够识别出特定的图像特征，而无需明确地定义这些特征。类似地，其他神经元也会对人脸、行人背影等产生反应。这种能力不仅展示了深度学习模型的强大，也让我们思考机器学习与人类认知之间的相似性和差异性。通过这样的技术，机器能够在没有明确指导的情况下，从海量数据中提取出有用的信息，这无疑为未来的智能系统提供了无限可能。

　　 「这个过程非常酷，因为它是基于无监督学习原理，构建出这些非常高层次的表示。」

　　 随后，他们在监督学习的ImageNet 20000类别挑战中取得了非常出色的成果，与之前的技术相比，性能提升了60%，这一成就在当时确实令人瞩目。这项技术的进步不仅展示了人工智能领域的快速发展，也预示着未来图像识别技术可能达到的新高度。通过持续的技术创新和优化，我们有理由相信图像分类和识别的准确率将进一步提升，为各行各业带来更多的便利和可能性。

　　 这种新型神经网络的规模相比之前训练的网络扩大了大约50倍，但其表现却异常出色。这无疑是一个重大的突破，表明在深度学习领域我们正不断向更高层次迈进。大规模模型的性能提升不仅证明了计算能力的进步，也预示着人工智能在未来应用中的巨大潜力。这一进展可能会引领新一轮的技术革新，推动更多领域的智能化进程。

　　 所以这让 Jeff 有了一种感觉，「嘿，实际上，扩展神经网络似乎是个不错的主意，看来确实有效，我们应该继续推动这一方向。」他说。

　　 谈及长上下文问题时，Jeff认为，“我们尚未完全解决，但我确实看到了未来实现这一目标的可能性。”

　　 Jeff 表示，他已经思考这个问题一段时间了。

　　 你注意到这些模型的优点是它们表现相当出色，但它们有时会生成不实内容并存在准确性问题。部分原因在于它们在数万亿的token上进行了训练，并且将如此庞大的数据量压缩到数百亿甚至数千亿的参数中。

　　 在上下文窗口中，也就是模型的输入部分，信息展现得非常清晰明确。这主要得益于Transformer架构中的强大注意力机制。这种机制使得模型能够精准地聚焦于相关信息，无论是处理确切的文本段落、视频的特定帧，还是音频片段和其他形式的数据。这种能力极大地提升了模型理解和生成内容的效率与准确性。 我的看法是，这种技术的进步对于自然语言处理领域来说是一个巨大的飞跃。通过更加精细地处理输入数据，我们不仅能看到模型性能的显著提升，还能期待在机器翻译、文本摘要、情感分析等众多应用领域的突破。此外，随着这种技术的不断成熟和优化，未来的AI系统将会变得更加智能和高效，从而更好地服务于人类社会。

　　 目前，我们拥有可以处理数百万token上下文的模型，这已经非常可观了。Jeff提到，“这相当于几百页的PDF文档、五十余篇研究论文、数小时的视频，或是数十小时的音频，亦或者是这些内容的某种组合，真的非常厉害。”

　　 但是，如果模型能够处理数万亿的Token，那当然是极好的。那么，它是否可以浏览整个互联网并为你找到准确的信息呢？它能否帮你处理所有的个人信息呢？

　　 Jeff表示他非常希望能有一个模型能够访问他的所有电子邮件、所有文档以及所有照片。在他需要的时候，这个模型可以在他的授权下，利用这些信息来更好地解决问题或提供帮助。 这样的技术设想确实令人向往，因为它可以极大提升效率与便利性。不过，随之而来的隐私安全问题也不容忽视。如何在享受便捷的同时保护好个人隐私，确保数据不被滥用，将是未来技术发展的重要课题之一。此外，透明度和用户控制权也是实现这一愿景的关键因素，确保用户始终清楚他们的数据是如何被使用的，并且能够随时撤销访问权限。

　　 但这将是一个巨大的计算难题，因为基本的注意力机制算法具有二次方复杂性。在大量的硬件设备上，你几乎都无法让它处理数百万的token，更不用说直接处理数万亿的token了，这是根本不可能的。

　　 因此，需要大量有趣的算法近似来实现的：一种让模型在概念上能够处理更多、更多的 token，数万亿 token 的方法。

　　 或许可以让每位Google开发者在其工作环境中访问公司所有的代码库，同时让每位开源开发者也能在其工作环境中获取全球所有的开源代码。

　　 那将是惊人的。

　　 访谈中，主持人提出了一项极具挑战性和前瞻性的议题，引发了关于AI安全性的深度探讨：若AI系统偏离了预定目标，反而去优化某些未知的、甚至可能是有害的目标函数，可能会带来哪些后果？

　　 假设有一天，某个AI系统获得了与Jeff Bezos或Noam Chomsky相当，甚至超越他们的编程能力和语言分析水平。这将是一个极具挑战性的前景。一方面，这样的技术进步可能极大地推动科技和人类知识的发展，使我们能够解决许多目前看来难以克服的问题。但另一方面，这也引发了对AI伦理和安全性的深刻担忧。我们需要考虑如何确保这些强大的工具不会被滥用，并且如何在它们的发展过程中保护人类的利益。这是一个需要全球合作和技术专家、政策制定者以及社会各界共同参与讨论的重要议题。

　　 在这种情况下，如果该系统被恶意复制或自我复制，产生了数百万个具有顶级编程水平的「副本」，那么这种失控的局面将可能导致难以挽回的后果。

　　 这一假设情境触及了当前AI安全研究的关键问题——目标对齐（Goal Alignment）难题。即如何确保AI系统的追求目标与人类的价值观和期望相契合，防止出现意外或不利的行为。

　　 对此，业界存在两种极端的观点：灾难论（Catastrophism），认为AI系统在各方面都将远超人类，最终可能导致人类被AI压制或取代。乐观论（Optimism），认为AI系统将带来巨大的福祉，无需过分担忧其潜在风险。 AI技术的发展确实令人瞩目，但灾难论和乐观论都显得有些极端。从当前的技术发展来看，AI虽然在某些领域取得了显著进展，但要完全超越人类还有一段距离。与此同时，AI带来的便利和福祉也是显而易见的，但对潜在风险的忽视同样不可取。因此，我们应该更加审慎地看待AI技术的发展，既要充分利用其优势，也要防范可能的风险，这样才能更好地促进AI与人类社会的和谐共存。

　　 对此，Jeff 表示，他的立场介于这两种极端观点之间。他虽然对 AI 的潜在风险保持警惕，但并未表现出极度的担忧。

　　 这种审慎乐观的态度，反映了当前 AI 领域许多专家对 AI 安全问题的主流看法：既要重视潜在风险，积极开展安全研究，也要对 AI 的未来发展保持信心。

　　 在访谈中，两位专家深入探讨了 AI 发展所面临的关键挑战与巨大机遇。

　　 Jeff 预测，随着 AI 聊天界面等应用的普及，计算资源需求将面临爆炸性增长。目前可能只有 10% 到 20% 的计算机用户了解并使用这类交互式界面，但随着用户认知和应用场景的拓展，未来使用量可能会增加一到两个数量级。 随着人工智能技术的发展，越来越多的应用开始依赖于复杂的算法和大量的计算资源。AI 聊天界面作为其中的一个典型代表，其功能和性能的提升无疑会吸引更多的用户。然而，这也意味着数据中心需要承担更大的压力，从而引发对更高效能硬件的需求。尽管如此，这种需求的增长也有可能推动相关技术的进步，比如通过优化算法或开发新的硬件架构来应对挑战。因此，我们需要关注的不仅仅是计算资源的需求增长，还应重视如何通过技术创新来解决这一问题。

　　 这对底层基础设施和算力提出了严峻挑战。

　　 AI技术的迅猛进步同时也带来了一系列潜在的风险。Jeff Dean曾指出，我们必须警惕AI可能被滥用，用于制造虚假信息或执行自动化的网络攻击等不法行为。因此，在构建这些模型时，我们必须要尽可能地内置防护和缓解机制，以确保AI的应用既安全又可控。 这种对AI技术潜在威胁的关注提醒我们，尽管AI的发展带来了许多积极的变化，但我们也需要时刻保持警觉，不断探索和实施有效的监管策略和技术防护手段。这不仅是为了防止技术被恶意利用，也是为了保障公众的利益和社会的稳定。只有这样，我们才能充分利用AI的优势，同时避免其可能带来的负面影响。

　　 张明认为，AI领域并不是一场零和博弈，其发展将会带来广泛的社会效益。他乐观地预测：“目前AI的发展势头预示着未来在GDP、医疗保健、财富创造等方面将实现多个数量级的增长。”这表明AI有望成为推动社会发展的重要动力。

　　 接着，如果每增加一倍的计算资源投入，能使AI助手的能力提升5到10个百分点，那么企业是否会愿意为此投资以实现“10倍工程师”、“100倍工程师”，乃至“1000万倍工程师”的生产力飞跃呢？ 在当今这个技术飞速发展的时代，这样的问题显得尤为关键。企业通常会权衡投入与产出之间的关系，尤其是在面对高额的技术投资时。然而，考虑到AI技术带来的潜在回报，比如提高效率、降低成本以及增强竞争力等，企业或许更倾向于加大投入。AI技术的进步不仅能够帮助企业解决复杂问题，还能开辟新的业务领域，带来前所未有的商业机会。 因此，尽管这可能意味着巨大的资金投入，但长远来看，这种投资可能会为企业带来显著的竞争优势。不过，这也需要企业在战略规划上做出明智的选择，确保这些技术投资能够真正转化为实际的商业价值。

　　 这一讨论凸显了人工智能在增强生产力方面展现出的巨大潜力，这或将引领一场新的技术革新与产业转型。 在我看来，随着人工智能技术的不断进步，它不仅能够提高工作效率，还能促进新兴产业的发展，为全球经济注入新的活力。然而，我们也必须正视由此带来的就业结构变化和社会伦理问题，确保科技发展的同时能够兼顾社会公平与和谐。因此，政策制定者和企业界需要共同努力，建立相应的教育和培训机制，帮助劳动力适应新的工作环境，并制定合理的监管框架，以应对潜在的风险和挑战。

　　 Jeff Dean 和 Noam Shazeer 的对话，让我们看到了 AI 技术发展的无限可能。

　　 从让模型快三倍的低精度计算，到处理数万亿token的长上下文挑战，再到对AI安全性的深刻思考，这场访谈为我们描绘了一个充满希望的未来。 访谈中提到的技术进步无疑令人振奋。低精度计算不仅能够加快模型的速度，还能显著降低能耗，这对于推动AI技术的大规模应用至关重要。同时，处理数万亿token的能力也展示了AI在理解和生成文本方面的巨大潜力，这将极大地拓展其在自然语言处理领域的应用范围。然而，随着技术的进步，我们也不应忽视对AI安全性的深入探讨。确保这些强大的工具能够被负责任地使用，避免潜在的风险，是当前亟待解决的重要课题。只有这样，我们才能真正迎接一个既高效又安全的AI未来。

　　 正如Jeff所言，他并不完全担忧AI的“邪恶”版本，但我们仍然需要在技术进步的过程中保持对潜在风险的高度警觉。 随着人工智能技术的飞速发展，我们确实应该认真思考其可能带来的负面影响。尽管Jeff认为不必过分恐慌，但谨慎行事总是明智之举。我们需要制定相应的法规与伦理准则，以确保技术的安全应用，避免其失控或被滥用。同时，加大公众教育力度，提高社会各界对于AI潜在风险的认识，也是非常必要的措施。只有这样，我们才能在享受科技带来的便利的同时，最大限度地降低其潜在威胁。

　　 参考资料：

　　 https://www.youtube.com/watch?v=v0gjI__RyCY

　　 本文来自微信公众号：新智元（ID：AI_era）