详细内容或原文请订阅后点击阅览
周三 MAMLM：扎克伯格“PASI”支点的笔记：从 Adtech 护城河到“超级智能”Moonshot
杀死FAIR，追逐“个人人工智能超智能”：快秒策略已死； “PASI”将人工智能重新定义为产品平台，而不是管道”；规模化人工智能、待定实验室和九位数的员工……
来源:Brad DeLong杀死FAIR，追逐“个人人工智能超智能”：快秒策略已死； “PASI”将人工智能重新定义为产品平台，而不是管道”； Scale AI、TBD Lab 和九位数雇用了信号控制能力。 LeCun 将法学硕士视为超级类固醇增强的“聪明的汉斯”；扎克伯格的回应是排挤持不同政见者并加大对法学硕士的投入。因此，扎克伯格放弃了 FAIR 的长期研究、集中力量、预算和速度以及 YOLO 支出，以摆脱苹果和谷歌的供应商地位。 PASI 能否在资本支出降低可信度之前交付产品？...
分享
分享德隆把握现实：2000 年代及之前的经济
去年春天之前 Facebook 的旧 MAMLM 策略对我来说很有意义：
MAMLM（现代高级机器学习模型）作为结构化和非结构化数据库的自然语言前端接口，有望具有巨大的价值。
它们的价值是显而易见的：它们将混乱的人类意图转化为结构化的行动——总结 200 页的简报、起草具有合规性约束的 RFP、跨团队翻译领域术语，甚至通过文本编排软件工具。
但它们在边境的建造和运行成本极其昂贵。边境成本非常严重。训练顶级模型仍然需要数万个 GPU、数月的挂钟时间、精英工程人才以及数百万美元的电力和机会成本；为其提供服务会在推理延迟、内存带宽和 GPU 小时数方面增加第二项费用。目前，价值捕获取决于架构选择——提炼为更小的专家、检索增强生成以减少幻觉和计算、工具使用以外部化计算、批处理和缓存以摊销令牌——以及与上下文的匹配能力。
这就是 Facebook 的策略。在我看来，这似乎是明智的。
赠送订阅礼物
然而，去年春天，FaceBook 的一切突然发生了变化。让我把麦克风交给非常敏锐的 Paul Kedrosky：
保罗·克德罗斯基