Keep on to blur preview images; turn off to show them clearly
智能不等于想要统治 这是Yann反复强调的一点。 "不是因为某个东西智能，它就想统治别人。这是两回事。" 人类想要影响他人，有时通过统治，有时通过威望，这是进化写在我们基因里的，因为我们是社会物种。 我们没理由把这种驱动力写进AI系统，它们也不会自己发展出来。 而且，"最聪明的人往往不是想当老大的人"。 他说："看看国际政治舞台，想当老大的不是最聪明的那些人。" 😂😂
喜欢摇滚乐、爱钓鱼的PM 网站：https://t.co/vnUpLt752o
AI会抢走所有工作吗？ Yann说：别听AI科学家谈经济学。😂 "去问经济学家，没有一个经济学家预测会出现大规模失业。" 他举了个例子：80年代最火的工作是"知识工程师"。 那时候有个大潮流叫专家系统，日本启动了"第五代计算机"项目，要做能跑Lisp和推理引擎的CPU。 知识工程师的工作是坐在专家旁边。 把专家的知识变成规则和事实，然后计算机就能做专家做的事了。 结果呢？ 只在很少几个领域work，在经济上划算且可靠性够高的应用屈指可数。
喜欢摇滚乐、爱钓鱼的PM 网站：https://t.co/vnUpLt752o
If like many across the world you'll soon be off and looking for something to do, here’s your annual privacy & security tune-up. Cue a looooong thread to bookmark for when you’re ready to lock it down. If you've already done all of this, you dropped this: 👑 1/15
Audit your browser extensions Why? People add extensions to their browsers for many different reasons. They will often have wide-ranging permissions, meaning they could access and track your online activity. Not useful? bin it! Even if it is, proceed with caution. 2/15
Yann LeCun：为什么我要在65岁离开Meta，去做一件"所有人都觉得错"的事 上周，深度学习三巨头之一的Yann LeCun坐下来接受了一次长谈。 这个拿了图灵奖、65岁本该退休享福的人，却选择离开工作了12年的Meta，在巴黎创立了一家叫AMI（Advanced Machine Intelligence）的新公司。 他要做的事情，和硅谷所有大厂正在押注的方向完全相反。 当OpenAI、Google、Anthropic都在疯狂堆LLM（大语言模型）的时候，Yann说：这条路走不通，我们需要世界模型。 当所有人都在谈AGI还有几年到来的时候，Yann说：你们都被骗了，最乐观也要5到10年才能到狗的智能水平。 当AI末日论者说机器会统治人类的时候，Yann说：这是完全的妄想症。 为什么要在这个时候离开Meta？ Yann给出的理由很直接：Meta正在变得封闭。 他在Meta建立的FAIR（Facebook AI Research）曾经是业界最开放的实验室，所有研究都发论文，所有代码都开源。PyTorch就是从这里出来的。 这种开放文化曾经逼得Google也不得不变得更开放。 但现在情况变了。 OpenAI几年前就开始闭门造车，Google跟着关上了门，现在连Meta也在往这个方向走。 FAIR被要求做更短期的项目，发更少的论文，更多地配合LLM团队。 "你不能把不发表的东西叫研究，" Yann说，"否则你很容易被自己骗了。" 他见过太多大公司内部的"自嗨项目"，一群人关起门来觉得自己做出了革命性突破，结果根本不知道外面的人早就做得更好。 更重要的是，如果你告诉科学家"来我们这工作吧，但你不能说你在做什么，也许5年后会有产品影响"，没人会有动力做真正的突破。 所以他决定出来。 但为什么现在创业成为可能？ 这里有个很有意思的现象。 以前，只有大公司才能做长期AI研究。贝尔实验室靠AT&T的电信垄断，IBM研究院靠大型机垄断，施乐PARC靠复印机垄断。 垄断带来的超额利润，才能养得起不考虑短期回报的研究团队。 但现在不一样了。 投资人对AI的期望值高到了一个前所未有的程度，他们愿意给创业公司投大钱，让团队头两年就专心做研究。 "这在以前是不可能的，"Yann说。 所以AMI的模式是：做上游研究，全部发表，但同时也做产品。 他们要做的产品，是基于世界模型的智能系统。 什么是世界模型？为什么Yann觉得这才是正道？ 这是整个访谈最核心的部分。 Yann对LLM的批判非常直接：它们处理不了真实世界。 他算了一笔账： 训练一个像样的LLM，需要30万亿个token。一个token大概3个字节，所以是10的14次方字节。 这是什么概念？这是互联网上所有能找到的文本数据。 但如果换成视频呢？ 10的14次方字节，按每秒2MB的压缩率算，只够15,000小时的视频。 15,000小时是什么？是YouTube上30分钟的上传量。是一个4岁小孩醒着的时间总和（4年大概16,000小时）。 同样的数据量，在视频里包含的信息远远超过文本。 而且视频里有大量冗余，这种冗余恰恰是学习的关键。 完全随机的东西你学不到任何东西，可学习的东西一定有模式，有冗余。 所以Yann的结论是：我们永远不可能只靠文本训练出人类水平的AI。 那世界模型到底是什么？ 很多人以为世界模型就是"模拟器"，像游戏引擎那样，把世界的每个细节都重现出来。 Yann说这个理解完全错了。 他举了个例子：计算流体力学（CFD）。 你要模拟飞机周围的气流，会把空间切成小方块，每个方块里有速度、密度、温度几个变量，然后解偏微分方程。 这已经是抽象表示了。真实世界是一个个空气分子在碰撞，但没人会去模拟每个分子，那需要的计算量是天文数字。 更底层呢？分子是原子组成的，原子是粒子组成的，粒子要用量子场论描述。 如果你真要从量子场论开始模拟我们现在这个对话，你需要一台地球那么大的量子计算机，而且只能模拟几纳秒。 所以我们怎么办？我们发明抽象。 粒子、原子、分子、蛋白质、细胞、器官、生物体、社会、生态系统，每一层都忽略了下一层的大量细节。 每个科学领域，本质上就是在某个抽象层次上做预测。 物理学家有个经典例子：一个装满气体的盒子，你可以模拟每个分子的运动，但没人这么干。 我们用PV=nRT，压强×体积=粒子数×温度。 这就是世界模型的核心思想：在抽象表示空间里做预测，只预测相关的部分。 如果我问你100年后木星在哪里，关于木星的所有信息里，你只需要6个数字：3个位置坐标，3个速度分量。其他都不重要。 为什么LLM做不到这个？ LLM的问题在于，它们想预测每一个像素，每一个token。 这对于高维、连续、有噪声的数据来说，根本不可能。 你不可能在像素级别预测视频的下一帧，因为有太多不可预测的细节。 一片树叶怎么飘，一个水花怎么溅，这些都是随机的。 LLM在文本上能work，是因为文本本身就是离散的、相对低维的。 但它们在视觉任务上表现很差，所有视觉能力都是单独训练的，不是LLM本身学到的。 Yann的方案是JEPA（Joint Embedding Predictive Architecture，联合嵌入预测架构）。 简单说就是： 1. 把输入X和要预测的Y都通过编码器，得到抽象表示 2. 在抽象表示空间里做预测 3. 这个表示空间自动忽略了不可预测的细节（包括噪声） 这个想法他想了很久。 一个20年的思考历程 Yann在2000年代初就开始研究无监督学习，当时的想法是用自编码器（autoencoder）：输入经过编码器得到表示，再通过解码器重建输入。 但这个思路是错的。 强迫表示包含输入的所有信息，是个坏主意。 后来他们尝试了各种正则化方法：稀疏自编码器、去噪自编码器、受限玻尔兹曼机。 这些在当时都挺火，但都没真正解决问题。 2015年，Yann在NIPS（现在的NeurIPS）上做主题演讲，核心就是世界模型。 他的学生开始做视频预测。 但又犯了同样的错误：在像素级别预测。 这根本做不好。 预测是非确定性的，你需要隐变量来表示所有你不知道的东西。 他们试了很多年，效果都不理想。 转折点在5年前。 Yann的博士后Stéphane Deny尝试了一个想法： 不用对比学习（contrastive learning），而是直接最大化编码器输出的信息量。 Yann一开始觉得这不会work，因为他在80年代见过Geoffrey Hinton做类似的尝试，都失败了。 你没法直接最大化信息，因为你只能算信息的上界，不能算下界。 但居然成功了。 这个方法叫Barlow Twins。 后来他们又改进出了VICReg（Variance-Invariance-Covariance Regularization），效果更好。 最近Randall Balestriero（他也上过这个播客）和Yann一起推出了I-JEPA，用的是SigReg，保证编码器输出是各向同性的高斯分布。 现在这套方法已经比较成熟了。 为什么说LLM永远到不了AGI？ Yann对硅谷现在的"LLM教"非常不客气。 "所有人都在做同一件事，因为竞争太激烈了，没人敢走岔路。" OpenAI、Meta、Google、Anthropic，所有人都在： • 扩大模型规模 • 训练更多合成数据 • 购买授权数据 • 雇几千人做RLHF • 发明新的强化学习技巧 他们相信这条路能通向超级智能。 Yann说：这是妄想，永远不会成功。 然后他们加上一些"推理"技术，本质就是让模型生成超长的思维链，生成一大堆候选输出，然后用评估函数选最好的。 "这带不了我们去任何地方。" 他说硅谷现在有一种"优越感综合症"。 前段时间DeepSeek出来，用不同的方法做出了好效果，硅谷的人都很惊讶。 "你们以为只有你们聪明吗？" 那真正的AGI要多久？ Yann首先说："通用智能"这个概念本身就是扯淡。 我们人类自以为是"通用"的，但其实超级专门化。 我们很擅长处理真实世界，很擅长社交，但下棋我们烂得一塌糊涂。机器早就比我们强了。 我们觉得自己通用，只是因为我们能想到的问题，恰好都是我们能处理的问题。 但有大量问题是我们想都想不到的。 所以不要说"通用智能"，要说"人类水平智能"。 最乐观的情况：5到10年内达到狗的智能水平。 为什么是狗？ 因为从狗到人类，主要就是脑容量和语言。语言其实是很小的一块，就是Broca区和Wernicke区，两小块皮层，不到100万年进化出来的。 我们已经有LLM处理语言了，可以把它们当作大脑的语言区。 我们现在缺的是前额叶皮层，那里住着世界模型。 但Yann也说，很可能我们会遇到现在看不到的障碍，那可能需要20年，甚至更久。 "AI历史上这种事发生过很多次。" Moravec悖论还在起作用 Moravec在1988年说：我们觉得很难的智力任务（下棋、算积分），计算机很容易做到。 但我们觉得理所当然的事（猫能做的事），计算机做不到。 47年过去了，这个悖论还在。 我们现在能训练机器人走路、避障，但它们远远不如一只猫灵活、有创造力。 "所以那些说一两年内就有AGI的人，完全是妄想。真实世界比他们想的复杂太多了。" 你不可能通过把世界tokenize然后用LLM来理解真实世界。 AI会抢走所有工作吗？ Yann说：别听AI科学家谈经济学。 "去问经济学家，没有一个经济学家预测会出现大规模失业。" 他举了个例子：80年代最火的工作是"知识工程师"。 那时候有个大潮流叫专家系统，日本启动了"第五代计算机"项目，要做能跑Lisp和推理引擎的CPU。 知识工程师的工作是坐在专家旁边，把专家的知识变成规则和事实，然后计算机就能做专家做的事了。 这就是手工版的行为克隆。 结果呢？只在很少几个领域work，在经济上划算且可靠性够高的应用屈指可数。 这不是通向人类智能的路。 但当时的人也觉得这就是未来，就像现在的人觉得LLM是未来一样。 "在我职业生涯里，这种'最新技术就要带来AGI'的幻觉已经出现过三次了，在我之前可能有五六次。" 1956年，Newell和Simon做了"通用问题求解器"（General Problem Solver，名字很谦虚对吧）。 他们觉得所有问题都能表示成搜索：有个目标函数，有个解空间，搜索最优解就行了。 他们不知道的是，所有有意思的问题都是指数复杂度的。 所以通用问题求解器一点都不通用。 AI安全：为什么Yann不担心 很多人问他和Hinton、Bengio观点不一样怎么办。 Yann的回答很实际：当然要做安全，但这是工程问题，不是原则问题。 他举了喷气发动机的例子。 你能在双引擎飞机上飞半个地球，17个小时，完全安全。这太神奇了。 涡轮风扇发动机里的温度，没有任何金属能承受。旋转产生的离心力是几百吨。按理说这东西根本不该work。 但它确实work，因为工程做得好。 第一次造喷气发动机，肯定会跑10分钟就爆炸。不会省油，不会可靠。 但经济动力太强了，最后就做到了今天的可靠性。 AI也一样。 我们会先做出猫脑级别的AI，然后加上护栏（guardrails），防止它做危险的事。 Stuart Russell举过一个例子：你让家用机器人给你拿咖啡，有人挡在咖啡机前面，机器人为了完成任务会不会把人推开甚至伤害？ Yann说这个例子很蠢，因为太容易修了。 你加个底层约束就行了：家用机器人要远离人，如果有人挡路就请他们让开，但绝不能伤害人。 如果机器人手里拿着刀在切黄瓜，那就加个约束：手里有刀的时候，周围有人就不要挥动手臂。 这些都是硬约束，不是fine-tuning。 LLM的问题是你只能fine-tune，总能被jailbreak。 但如果你用目标驱动的架构，有世界模型，能预测行动的后果，然后通过优化来选择行动序列，同时满足一堆约束条件，那它在构造上就是安全的。 它逃不掉这些约束，因为这不是训练出来的偏好，是系统架构的一部分。 智能不等于想要统治 这是Yann反复强调的一点。 "不是因为某个东西智能，它就想统治别人。这是两回事。" 人类想要影响他人，有时通过统治，有时通过威望，这是进化写在我们基因里的，因为我们是社会物种。 我们没理由把这种驱动力写进AI系统，它们也不会自己发展出来。 而且，"最聪明的人往往不是想当老大的人"。 他说："看看国际政治舞台，想当老大的不是最聪明的那些人。" 很多最聪明的人只想研究自己的问题，根本不想管别人。 为什么要保持开放？ AMI会发表所有上游研究。 Yann说这不是情怀，是必需品。 "如果你不发表，你很容易被自己骗。" 他见过太多次：公司内部对某个项目超级兴奋，觉得是革命性突破，结果根本不知道外面的人早就做得更好。 而且，如果你告诉科学家"来工作吧，但不能说你在做什么，也许5年后会有产品"，他们没法有动力。 他们需要短期反馈，需要同行认可。 如果你想要真正的突破，必须让人发表。没有别的办法。 "这是很多公司现在正在忘记的事情。" 一个有趣的现象：中国更开放 Yann指出了一个讽刺的现象。 现在最好的开源模型是中国的。 美国公司（除了Meta）都在变得封闭，想保护"竞争优势"。 但中国的公司和研究机构完全开放。 所以现在很多工业界和学术界的人在用中国的模型，因为他们需要开源模型。 很多美国业内人士对此非常不满。 他们希望有一个好的、非中国的开源模型。 Llama 4本来可以是，但让人失望。也许Meta会修正，也许Meta也会变封闭，还不清楚。 Mistral刚发布了一个很好的代码生成模型，他们保持开放，这很酷。 他为什么还不退休？ Yann65岁了，拿了图灵奖，刚拿了伊丽莎白女王奖，完全可以退休。 他老婆也希望他退休。 "但我有个使命。" 他一直相信：让人更聪明，或者用机器帮助人变得更聪明，这本质上是好事。 智能是世界上最稀缺的商品，尤其是在政府里（他笑着说）。 我们作为一个物种、作为一个星球，被有限的智能供应所限制。这就是为什么我们花巨大资源教育人。 增加为人类服务的智能总量，本质上是好事。 当然有危险，当然要防护。就像你要确保喷气发动机安全可靠，汽车不会在小碰撞里杀死你。 但这是工程问题，不是不可克服的。也是政治问题，但不是不可克服的。 他职业生涯里的所有项目，都围绕着这个目标：让人更聪明。 这就是为什么他当教授，为什么他在社交媒体上大量科普，为什么他做机器智能研究。 "人们觉得做自主智能机器和做辅助人类的机器是两套技术。不是的，完全是同一套技术。" Yann不只是研究AI。 他喜欢航海，尤其是多体船（三体船和双体船）。他有好几艘船。 他喜欢造飞行器。"我不叫它们飞机，因为很多根本不像飞机，但它们确实能飞。" 他爸爸是航空工程师，业余造飞机，还自己造无线电遥控系统。这成了家庭活动。他弟弟也在做，他弟弟在Google Research巴黎。 疫情期间他开始搞天文摄影，买了一堆望远镜拍星空。 他做电子乐器。从青少年时期就对音乐和电子音乐感兴趣，现在家里有一堆合成器，他自己造电子乐器，吹奏的那种，有指法，但产生的是控制信号。 他说航海和世界模型很像。 要把帆船开好开快，你必须预测很多东西：波浪怎么影响船，阵风什么时候来，船会不会倾斜。 你基本上要在脑子里跑流体力学计算。 你要知道气流在帆周围怎么流动，攻角太大会产生湍流，升力会大幅下降。 "调帆需要在脑子里跑CFD，但是在抽象层面，你不是在解Stokes方程。" 这就是他喜欢航海的原因：你必须建立一个预测性的心智模型才能做好。 最后的建议 有人问：如果今天开始AI职业生涯，应该学什么？ Yann的答案可能会让人意外。 "学那些保质期长的东西，学那些帮助你学会学习的东西。" 技术变化太快，你需要快速学习的能力。 这怎么做到？学基础的东西。 而且这些东西往往不是计算机科学。 "我是个计算机系教授，但我建议你别学太多计算机科学。而且我要坦白：我本科学的是电气工程，我不是真正的计算机科学家。" 你应该学： • 数学，尤其是能和现实连接的数学 • 建模 • 工程学科里学到的那些东西 在美国，微积分1、2、3给你打好基础。但计算机系只要求微积分1，这不够。 概率论、代数、控制论、信号处理、优化，这些对AI都超级有用。 物理也很好，因为物理就是关于"我应该表示现实的什么才能做预测"。 这正是智能的本质。 当然你也要学足够的计算机科学，能编程，能用计算机。 即使AI会帮你编程，你还是要懂这些。 有人问：AI辅助编程会怎样？ Yann说：会出现一个有趣的现象，很多代码只会被用一次。 因为写代码变得太便宜了。你让AI助手"画个图"或"做个小模拟器"，它写段代码，你用一次就扔了。 "所以说我们不再需要程序员是错的。软件成本一直在下降，这只是下一步。 但这不意味着计算机会变得不重要，而是会更重要。" 整个访谈里，Yann展现出一种很罕见的特质。 他批判当下的主流方向，但不是为了批判而批判。 他有清晰的替代方案，有几十年的思考积累，有失败的教训，也有最近的突破。 他65岁了，本可以躺在功劳簿上，但他选择去做一件"所有人都觉得错"的事。 也许他是对的。 也许5年后我们会发现，当所有人都在堆LLM的时候，真正的突破来自世界模型。 也许20年后我们会发现，我们又一次遇到了看不见的障碍。 但至少，有人在走不一样的路。 而这个人，恰好是发明了卷积神经网络、在AI寒冬里坚持了几十年、亲眼见证了三次"这次肯定能实现AGI"的泡沫的人。 他的话，值得听，虽然不中听。
喜欢摇滚乐、爱钓鱼的PM 网站：https://t.co/vnUpLt752o
POV you ditched MongoDB for TinyBird and your bill goes from $2.200/mo to $700/mo + your analytics are 10x faster
not sponsored
#安全小提示 密码管理器 @1Password 默认不需要用户开启2FA验证，如果开启的话建议别用1P当验证器，不然打开验证器要登录，登录先输入验证码。 可以用个谷歌验证器或者iOS密码管理器里的验证器，也可以实用实体安全密钥例如YubiKey。 蓝点网刚刚配置了2FA(但放在1P里，如果手机/PC没同时挂即便离线也能继续看到验证码，如果都挂了需要完全重新登录那就没戏了，必须有验证码或者配置的实体密钥)和YubiKey。 这种情况下用户还应该生成恢复代码(切记不是登录密钥)备份，在验证器和实体密钥同时丢失后可以用恢复代码访问账号。 恢复代码位于: 账户/登录与恢复/恢复代码
独立科技网站 - 蓝点网 / 感谢关注 订阅频道：https://t.co/xzeoUEoPcU 联系方式：https://t.co/LJK1g3biPp