大牛逃离大模型创业，回归大厂：1亿美元融资困境，体重增加30斤

大牛逆袭之路：从大模型创业到体重增加30斤，1亿美元融资困境揭秘

科技快讯中文站

　　 大模型创业太累，又一大牛决定重回大厂。

　　 Yi Tay，曾是Reka AI联合创始人，也曾是谷歌大模型PaLM、UL2、Flan-2、Bard的重要参与者。

　　 这周是他重返谷歌的日子，也是他在外创业一年半后，决定重新担任其旧职的开端。

　　 他将继续担任谷歌DeepMind的高级研究员职位，向谷歌的重要人物、同时也是他前任上司的Quoc Le汇报工作。

　　 回顾这段创业历程，他深感收获颇丰，例如在基础设施方面的认知提升，以及如何从零开始训练大型模型等技能。

　　 但与此同时，他也经历了一些不那么好的时刻：

　　 公司好不容易筹集了一亿多美元，但对于一个不足15人的小团队来说依然捉襟见肘，甚至考虑过出售自己以求自保。

　　 个人层面，由于长时间高强度的工作压力以及不良生活习惯的影响，他的身心健康状况明显下滑。最近一年里，他的体重增加了约15公斤。 这样的变化不仅反映出个人生活状态的问题，也映射出当前社会中普遍存在的工作与生活失衡现象。长时间的工作不仅损害了个人的身体健康，还可能对其心理状态造成负面影响。此外，体重的显著增加不仅是生活方式不健康的表现，也可能进一步加剧健康风险。因此，如何在忙碌的工作之余找到平衡，注重身心健康，已成为现代人不可忽视的重要课题。

　　 为此他表示：

　　 放弃舒适区并创业对我个人来说真的很可怕。

　　 大牛重回谷歌大厂

　　 去年三月末，他官宣离职谷歌参与创业RekaAI，并担任该公司的首席科学家。

　　 在此之前，他在谷歌大脑工作了3.3年，参与了多个大型模型的研究，撰写了总计约45篇论文，其中16篇为第一作者，包括UL2、U-PaLM、DSI、Synthesizer、Charformer和LongRangeArena等项目，还参与了大约20次产品发布，真是位杰出的专家。

　　 他坦承，在某些方面，他在谷歌之外学到了许多新的知识。

　　 比如掌握使用Pytorch和GPU以及其他外部资源，以成本效益最高的方式从零开始构建高性能的模型。

　　 为此他在个人网站上分享了自己的经验：训练模型的关键在于获得计算资源，但这过程却像买彩票一样充满不确定性。

　　 并非所有的硬件都是等同的。不同的算力服务提供商之间的集群质量差异极大，导致想要训练出优质的模型所要付出的代价犹如抽奖一般不确定。简而言之，在LLM时代，选择硬件就像买彩票一样。这与在谷歌使用TPU相比，这些GPU的高故障率令他感到震惊。

　　 此外他还吐槽外部代码库的质量远远落后谷歌的质量，这些代码库对大规模编码器-解码器训练的支持非常少。

　　 但这种持续遇到问题持续解决的经验， 并非痛苦反而很有趣，并且最终凭借着自身技术实力也挺了过来。

　　 在创业初期，他们的旗舰模型RekaCore在Lmsys初次亮相时，便取得了第7名的成绩，使公司在排行榜上进入了前五名，从而超过了GPT-4的早期版本。 （调整后的句子使其意思相近但表达不同） 他们的旗舰模型RekaCore在Lmsys的首次展示中，即获得了第7名的好成绩，使得公司整体排名进入前五，成功超越了GPT-4的初期版本。

　　 目前他们主要有四个模型，适用于不同的应用场景。

　　 而真正“打倒”他驱使他离职的，是更为现实的原因。

　　 对于初创企业而言，公司在资金、算力和人力资源方面都远不如其他实验室充裕。

　　 即便他们分批筹集了一亿多美金，对于这样一个不足15人的小团队来说依然显得不足。

　　 今年5月，有消息曝出RekaAI正在寻求出售以解决财务困境，目前Snowflake正与RekaAI进行谈判，计划以超过10亿美元的价格将其收购。 这一事件反映出当前科技行业竞争的激烈程度以及企业生存的压力。对于RekaAI而言，这可能是一次转型的机会，而对Snowflake来说，则是扩大业务版图的一个契机。此次收购若能成功，不仅能够增强双方的技术实力和市场竞争力，同时也将对整个行业格局产生影响。不过，具体效果如何，还需看后续的发展以及双方整合资源的能力。

　　 不过现在来看，收购事宜还没有谈成。在Yi Tay宣布新动向后，他们紧急发声，现在公司还在积极招人ing。

　　 而就他个人来说，这是段非常紧张的时期。尤其刚开始创业的时候妻子怀孕，他不得不同时兼顾两边，由此身心健康受到很大的损害。

　　 并且由于高强度的工作和不健康的生活方式，他长胖了15公斤。

　　 不过他自己也曾透露过自己有睡眠障碍。

　　 种种原因，他选择再次加入谷歌，以研究员的身份回归。

　　 在探索初创企业领域一年半之后，我选择回归自己的研究根基。 经过一段时间在创业世界的探索，我发现重新扎根于原始的研究领域对于我个人的发展更为有益。这一年的探索让我意识到，虽然初创企业的活力与创新精神令人振奋，但长期而言，我对深入研究和分析的兴趣并未减弱，反而更加坚定了继续深耕专业领域的决心。这样的转变不仅能够让我更好地发挥自己的特长，也更有利于我在所热爱的研究领域内做出更有意义的贡献。

　　 在分享经历的开始，他写下了这样一句话。

　　 回到谷歌之后，他将致力于与大模型相关领域的研究，以资深研究员的身份，向知名专家QuocLe汇报。

　　 在博客的结尾，他表达了对那些在创业过程中始终与他保持紧密联系的谷歌朋友的感激之情。 这样的表达方式更加直接地传达了他对这些朋友的支持和帮助的认可。通过强调“始终”一词，可以看出这种关系的持久性和稳定性，这在创业过程中是非常宝贵的。同时，提到具体的“谷歌朋友”，也显示了他与这些国际伙伴之间的特殊纽带，这对于展现他的国际化视野和合作精神也是有益的。

　　 并且还特地感谢了在新加坡同他共进晚餐的Jeff Dean，并且提醒他Google 很棒。（Doge）

　　 谷歌老同事：欢迎回来

　　 一些谷歌老同事在底下纷纷表示：Welcome back！感觉像是过了十年。

　　 值得一提的是，像这种大牛重返大厂并非个例。

　　 今年8月，谷歌以25亿美元的价格收购了明星AI独角兽企业Character.AI的核心技术团队，这一价格远超Character.AI公司10亿美元的估值。

　　 其中包括两位创始人——Transformer模型的主要贡献者之一Noam Shazeer和Daniel DeFreitas。Noam Shazeer将担任Gemini项目的联合技术负责人。 这样的人员配置无疑为Gemini项目注入了强大的技术基因。Noam Shazeer在Transformer模型上的贡献有目共睹，他的加入不仅能够确保技术路线的前沿性，还可能进一步推动该领域的发展。而Daniel DeFreitas的角色虽然没有具体说明，但可以推测他将在项目管理或技术研发方面发挥重要作用。两位创始人的强强联合，预示着Gemini项目或将带来令人期待的技术突破。

　　 这样看起来，对于这些专家而言，投身大模型创业的确充满挑战，选择回归大型企业不失为一个明智之举，毕竟在那里资金充足、算力有保障，可以更专注于科学研究。

　　 随着新一轮的技术洗牌期来临，越来越多的技术专家开始向科技巨头靠拢，这一趋势已逐渐显现。 这种现象反映了当前科技行业的竞争格局正在发生变化。一方面，科技巨头凭借其雄厚的资金实力和广泛的业务布局，能够提供更具吸引力的工作环境和发展机会，从而吸引顶尖人才。另一方面，这也表明了行业对于高端技术人才的需求日益增长，而这些人才正是推动技术创新和行业发展的重要力量。因此，科技巨头汇聚大量技术人才，不仅有助于自身保持领先地位，也可能进一步拉大与中小企业的差距，加剧行业内的马太效应。