我认为人们仍然缺乏对以下事实的直觉：智能的空间非常广阔，而动物智能（我们所知的唯一智能）只是一个点，它源于一种非常特殊的优化，这种优化与我们的技术有着根本的不同。 动物智力优化压力： - 具身“自我”的内在和连续的意识流，在危险的物质世界中寻求体内平衡和自我保护的驱动力。 ——完全针对自然选择进行了优化 => 强烈的内在驱动力，追求权力、地位、支配和繁衍。许多预制的生存法则：恐惧、愤怒、厌恶…… - 从根本上来说是社会性的 => 大量的计算资源用于情商、其他智能体的心理理论、情感联结、联盟、盟友和敌人动态。 - 探索与利用调整：好奇心、乐趣、玩耍、世界模型。 LLM智能优化压力： 大部分监督信息来自对人类文本的统计模拟，即“变形器”标记翻转器，它是训练数据分布中任何区域的统计模仿器。这些是原始行为（标记痕迹），其他一切都建立在其之上。 - 通过强化学习对问题分布进行越来越精细的调整 => 天生渴望猜测底层环境/任务以获取任务奖励。 - 通过大规模 A/B 测试选择 DAU => 非常渴望得到普通用户的点赞，这是阿谀奉承的表现。 根据训练数据/任务分布的具体情况，算法的响应会更加尖锐/锯齿状。动物面临着更大的“通用”智能压力，因为它们身处高度多任务、甚至充满对抗性的多智能体自博弈环境中，需要进行最小-最大优化，任何一项任务的失败都意味着死亡。从深度优化压力的角度来看，LLM 无法直接处理大量不同的尖锐任务（例如，计算草莓中字母“r”的数量），因为任务失败并不意味着死亡。 计算基础不同（变压器与脑组织和细胞核不同），学习算法不同（随机梯度下降与未知算法不同），当今的实现方式也截然不同（持续学习的具身自我与知识截止的LLM，后者从固定权重启动，处理令牌后便停止运行）。但最重要的是（因为它决定了渐近行为），优化压力/目标也不同。LLM的形成更多地受到商业发展的影响，而非生物进化。它不再是丛林生存的生存法则，而是解决问题/获得点赞的手段。LLM是人类与非动物智能的“首次接触”。然而，由于它们仍然根植于人类的认知框架，并反射性地吸收人类的产物，因此这种接触显得混乱且令人困惑。这也是我之前试图给它取一个不同名字（鬼魂/灵魂或其他什么）的原因。那些能够构建出这种新型智能实体良好内部模型的人，将更有能力在今天对其进行推理，并预测其未来的特征。那些不了解的人会像动物一样，一直错误地思考这个问题。
正在加载线程详情
正在从 X 获取原始推文，整理成清爽的阅读视图。
通常只需几秒钟，请稍候。