Scaling Laws for Mixture Pretraining Under Data Constraints
随着语言模型的扩展，它们所需的数据量也在增长，但许多目标数据源（例如低资源语言或专业领域）本质上在大小上受到限制。一种常见的策略是将这种稀缺但有价值的目标数据与丰富的通用数据混合在一起，这提出了一个基本的权衡：混合物中的目标数据太少会使模型在目标域中暴露不足，而太多的目标数据会过度重复相同的示例，从而产生收益递减并最终导致过度拟合。我们在 2,000 多次语言模型训练中研究了这种权衡……
Introducing Mobile Layout for Amazon Quick dashboards
依赖仪表板进行日常决策的团队通常必须捏合和缩放才能与最初为更大的显示器设计的控件进行交互。当仪表板是为桌面屏幕构建时，在早上站立时检查收入、在会议之间检查管道指标或在旅行时监控操作都需要付出额外的努力。亚马逊的移动布局 [...]
