We Didn’t Invent Attention — We Just Rediscovered It
选择性放大如何通过收敛的数学解决方案在进化、化学和人工智能中出现我们没有发明注意力——我们只是重新发现了它，它首先出现在《走向数据科学》上。
Memory-Efficient Backpropagation for Fine-Tuning LLMs on Resource-Constrained Mobile Devices
使用反向传播对大型语言模型 (LLM) 进行微调（即使对于 LoRA 等参数子集）可能比推理更消耗内存，并且对于资源受限的移动设备来说通常被认为是不切实际的。零阶优化 (ZO) 等替代方法可以大大减少内存占用，但代价是模型收敛速度显着减慢（比反向传播多 10 倍到 100 倍的步骤）。我们提出了一种在移动设备上实现反向传播 (MeBP) 的内存高效实现，它可以在内存使用和计算之间提供更好的权衡……
Fixed Capital And Extensive Rent
这篇文章是一个问题陈述。仅用流动资本生产商品的模型具有某些良好的特性。我指的是通过商品生产商品的模型，在生产中具有一定的循环结构。假设技术中的每个过程都需要直接的劳动力投入。技术的选择可以通过构建每种技术的工资曲线的外层包络线，在仅使用流动资本的模型中进行分析。每条工资曲线都向下倾斜。对于一种技术来说，利润率越高，工资就越低。除了转换点之外，在给定利润率下的成本最小化技术是独一无二的。 “成本最小化技术的确定与使用需求的结构无关”（Huang 2019）。工资和生产价格是利润率的独特函数。如果存在一种技术，其工资和生产价格在给定的利润率下确定，那么成本最小化技术就存在。市场算法（Bidard
