MOE & MOA for Large Language Models
向专家小组寻求建议图片由作者提供（AI 生成 leonardo.ai）大型语言模型 (LLM) 无疑席卷了科技行业。它们的迅速崛起得益于来自维基百科、网页、书籍、大量研究论文以及我们喜爱的社交媒体平台的用户内容的大量数据。数据和计算密集型模型一直在狂热地整合来自音频和视频库的多模态数据，并且数月来一直在使用数万个 Nvidia GPU 来训练最先进的 (SOTA) 模型。所有这些都让我们怀疑这种指数级增长是否能持续下去。这些 LLM 面临的挑战很多，但让我们在这里探讨一些。成本和可扩展性：较大的模型可能需要花费数千万美元来训练和服务，成为日常应用程序采用的障碍。 （参见 GPT-4 的训练成本
What Were Some Valuable Lessons Your Family Learned by Having an Aviator in the Family?
航空业最宝贵的教训是什么？纪律我认为我的孩子学到的一个教训是观察他们的父亲在磨练他的技能时所表现出的职业道德。每年都有定期训练，他们会看到他们的父亲把他的所有笔记和培训材料都摆放在餐桌上。这些材料都是按系统组织的。他会制作抽认卡来记忆或演练程序。我的丈夫是一个节奏型学习者，除了电脑部分，他学习时真的很少坐着。他会四处走动，自言自语。你可以看到他在脑海中演练程序。起初我们开玩笑，但后来我们都意识到，当他去参加培训时，他非常认真地做好准备。我知道这一点，他需要做好准备，这样他才能吸收材料。如果他觉得其他事情都不周全，他就不会有好的体验。我们的孩子不仅观察了这些，还学会了如何更好地准备并提出好的问题
