AMD发布了自己的大型开源语言模型

该模型是使用 AMD Instinct GPU 上的集群进行训练的。

来源:OSP网站大数据新闻

AMD 发布了大型开源语言模型 OLMo,在自己的硬件 AMD Instinct MI250 服务器 GPU 集群上进行训练,向人工智能硬件市场领导者 Nvidia、英特尔和高通发起挑战。

OLMo 的开放性意味着第三方开发人员可以访问模型的训练数据、权重、训练方法以及所使用的代码。 AMD 指出,该模型既可以部署在数据中心,也可以部署在配备 AI 任务加速器的 AMD Ryzen 处理器的 PC 上。

该模型经历了三个阶段的训练:初步训练掌握基本语言模式、监督训练和微调以获得数学和编程“能力”、根据用户反馈进行优化​​。

AMD 表示,根据内部测试的结果,该模型与开源条款上的类似模型相比表现出了性能优势。

未来公司计划继续生产OLMo系列大型语言模型。