AMD выпустила собственную большую языковую модель с открытым кодом
该模型是使用 AMD Instinct GPU 上的集群进行训练的。
Sloppy energy language: dependence on foreign oil
这是总统用粗体写的好话：美国对石油的依赖是我们国家面临的最严重威胁之一。这可不是：他们将创造建造风力涡轮机、太阳能电池板和节能汽车的工作岗位，从而降低我们对外国石油的依赖……这也不是：最后 [...] 帖子粗略的能源语言：对外国石油的依赖首先出现在 Keith Hennessey 上。
OpenEuroLLM är ett europeiskt projekt för att skapa öppna språkmodeller
OpenEuroLLM 是一个历史性的欧洲合作项目，将于 2025 年 2 月 1 日启动，旨在开发下一代开源语言模型。我们的开创性举措得到了委员会“数字欧洲计划”的大力支持，代表了充满活力的欧洲数字主权 openeurollm.eu。通过 OpenEuroLLM，超过 20 家领先的欧洲研究机构、公司和听力损失中心与同一个 […]《OpenEuroLLM 是一个创建开放语言模型的欧洲项目》一文首次出现在 AI 新闻中。
Future of Natural Language Processing with Deep Learning (NLP/DL)
我最近参加了 Kevin Clarke (CS224n) 的演讲，他在演讲中谈到了 NLP 的未来趋势。我写这篇文章是为了总结和讨论最近的趋势。幻灯片片段来自他的客座演讲。有两个主要主题奠定了深度学习 NLP 的趋势：1. 使用无监督 / 未标记数据进行预训练2. OpenAI GPT-2 突破1. 使用无监督 / 未标记数据进行预训练监督数据昂贵且有限，我们如何使用无监督数据来补充训练和监督微调以做得更好？让我们将其应用于机器翻译的问题，看看它如何有所帮助 - 如果您有 2 个不同语言的文本语料库（转录或维基百科文章），没有跨语言映射。我们可以将其用于预训练，在两个语料库上分别训练编码器和解
